Estou usando isso diariamente. Você precisa de um arquivo xorg.conf; na seção Dispositivo, você precisa do seguinte:
Option "nopowerconnectorcheck"
Option "ExactModeTimingsDVI" "ON"
Em seguida, na seção Monitor, coloque seu HorizSync, VertRefresh e ModeLine Finalmente na seção Screen, adicione isto:
Option "AllowEmptyInitialConfiguration" "True"
Option "ConnectedMonitor" "DFP"
Option "UseDisplayDevice" "DFP-0"
Option "ModeValidation" "AllowNonEdidModes"
SubSection "Display"
Depth 24
Modes "<Resolution and Refresh from your modeline>"
EndSubSection
O que isso faz é informar ao driver da Nvidia que há um monitor conectado e fornecer as informações necessárias para iniciar o desenho no buffer do quadro. Não é necessário nenhum monitor. Eu recomendo usar o x11vnc para fazer a sua visualização, porque ele pesquisa a tela e é muito mais responsivo às alterações da tela do que qualquer outro servidor Linux vncserver.