Tentei transmitir gráficos 3D pela rede uma vez e descobri uma coisa: o desempenho é ruim. Isso acontece porque todos os drivers gráficos acelerados realmente não transmitem dados 3D pela rede (mesmo que seja loopback ou soquete abstrato UNIX), mas fazem alguma renderização direta.
As configurações que testei incluíam o Xming (Xming é realmente portado como Xorg) nos clientes Windows + X no Linux e o Xorg e os clientes no Linux. A rede tinha 100Mbit, a placa de vídeo era a NVidia GeForce FX 5200 (essa não é uma placa muito recente, mas definitivamente pode lidar com glxgears), e os dois computadores têm processadores de classe PIV e cerca de 1Gb de RAM para esses dois limites não foram atingidos.
Comecei o glxgears como cliente. Nos dois casos, ele exibiu animação muito reduzida e valores de FPS em torno de 30 ou 50. Para comparar, eu também corro o glxgears nativo e ele mostra cerca de 8000 no host Linux e IIRC 500 no Xming com glxgears portado (isso foi há um ano e desempenho do Xming pode ser melhor agora). Portanto, o desempenho da rede é definitivamente o gargalo dos gráficos 3D.
Também devo observar que o VNC opera apenas com gráficos 2D: ele possui um protocolo muito simples que consiste principalmente de comandos como "mostrar esta imagem retangular nessas coordenadas", portanto, definitivamente não mostra desempenho em 3D.