Tente remover completamente os drivers da nvidia do seu sistema:
sudo apt-get purge nvidia*
Remova o seu xorg.conf
sudo rm /etc/X11/xorg.conf
Reinstale completamente o xorg
sudo apt-get install --reinstall xserver-xorg-core libgl1-mesa-glx:i386 libgl1-mesa-dri:i386 libgl1-mesa-glx:amd64 libgl1-mesa-dri:amd64
Reconfigure o Xorg
sudo dpkg-reconfigure xserver-xorg
Reiniciar
sudo reboot
Você deve ser recebido com o lightdm, o padrão será tudo x da mesma maneira que uma instalação nova.
Depois disso, você pode tentar instalar os drivers novamente usando a ferramenta 'Drivers Adicionais' no Ubuntu, mas se esses drivers não funcionarem, você pode testar os drivers mais recentes no x-swat ppa
sudo apt-add-repository ppa:ubuntu-x-swat/x-updates
sudo apt-get update
sudo apt-get install nvidia-current
Nota - se o acima não funcionar - tente também usar o kernel PAE
sudo apt-get install linux-headers-generic-pae
(dica recebida por @Scott)
sudo mv /etc/X11/xorg.conf /etc/X11/xorg.conf.backup