O caminho fácil
Procure um "meta pacote" que foi instalado como a "área de trabalho" e, desinstalando-o, o apt deve remover todos os pacotes que compõem o meta pacote. (Eu ainda preciso confirmar isso, mas basta ler em alguns posts aqui http://ubuntuforums.org/showthread.php?t=2110057 )
O jeito difícil
Fui atrás do GNOME Desktop Manager
sudo apt-get purge gdm
e depois limpar as sobras
sudo apt-get autoremove
NOTA: a remoção automática remove arquivos desnecessários associados à remoção / remoção mais recente, portanto, ele deve ser executado sempre.
Esses dois comandos podem não remover tudo, portanto, para procurar os itens restantes, eu fiz
dpkg-query -l *desktop*
dpkg-query -l *gnome*
e eliminou os pacotes restantes dessas listas (também usando a remoção automática posteriormente).
Para verificar seu progresso, após cada limpeza / remoção / desinstalação, volte para a tela de login da GUI (ctl-alt-f7) e observe a desmontagem.
gnome-panel. Além disso, lembre-se de limpar as dependências não utilizadas após estes comandos comsudo apt-get autoremove.