Sinceramente, tive um terrível sucesso com os servidores VNC no Linux recentemente. Em resposta, mudei para frequentemente apenas o X-forwarding para executar coisas remotamente.
Para experimentar, em outra máquina Linux, você pode rapidamente (geralmente) adicionando "-X" ao sshing em:
$ ssh -X me@myserverbox
Depois de fazer o login remotamente, você pode executar aplicativos pela rede apenas chamando-os:
$ xclock
Se tudo estiver bem, você verá o xclock aparecer localmente, mas estará sendo executado a partir da máquina na qual você inseriu.
Você pode realmente executar sessões inteiras do gerenciador de janelas sobre isso. Mas é um pouco de esforço e você definitivamente quer uma rede muito boa para isso.
Você também pode executar servidores X no Windows, para que você possa executar aplicativos Xhost no Windows - e para fazê-lo no OSX, é necessário instalar o X11, executá-lo e, em seguida, transferir ssh a partir de um terminal executando o X11.
Espero que ajude um pouco.
Editado: para corrigir erro de terminologia