Tecnicamente falando, o gdm ou o lightdm estão gerenciando solicitações de sessão da área de trabalho que não são servidores X. (um servidor X está servindo eventos para o aplicativo X, xorg é um servidor X :).
Editar
Parar o servidor X killall X
ou sudo killall X
se você não for o proprietário do processo.
Claro que você deve ter um terminal para fazer isso.
Uma maneira de não conseguir abrir um terminal gnome ou um xterm é iniciar um console de texto; pressione simultaneamente as teclas Ctrl + Alt + F1 e entre no prompt (sua senha não será mostrada, nem mesmo como asteriscos). (F1 a F5 estão ok)