Você pode remover ubuntu-desktope remover automaticamente todos os seus dependentes órfãos:
sudo apt-get autoremove ubuntu-desktop
Adicione a --purgeopção se você também deseja remover a configuração dos pacotes afetados (e não mantê-la para possível reinstalação posterior).
Se você tiver qualquer outro Desktop, remova-os também. se você reiniciar após isso, não deverá ter interface gráfica para efetuar login. Se você limpar um programa em vez de removê-lo, também removerá todos os arquivos de configuração que possam permanecer.
Como Rinzwind sugere, tente sudo apt-get remove gnome-*.
Antes do Ubuntu 16.04, ele também fornecia um pacote de kernel especial para instalações de servidores linux-image-server:
sudo apt-get install linux-image-server e reinicie.
Então eu sugiro que você instale os aplicativos de servidor que você deseja, como ssh-server.
Mas como sempre, é melhor fazer uma instalação limpa. Dá menos risco de erros e pacotes quebrados.