Se você desinstalar os pacotes da área de trabalho e instalar os pacotes do servidor por meio do tasksel, esteja preparado para realizar muitas reconfigurações, pois isso removerá as configurações de rede, os drivers da placa sem fio etc.
Se tudo o que você precisa fazer é se livrar da GUI, siga as etapas 1 a 2 da primeira resposta. Depende de você limpar ou não a GUI completamente.
Também substituí o kernel genérico pelo kernel do servidor, conforme observado na resposta @ warl0ck e comentei as linhas no arquivo lightdm.conf.
Depois disso, em vez de tasksel para adicionar / remover pacotes, eu removi manualmente os pacotes da linha de comando. A menos que você use o pacote LibreOffice, Firefox, etc., você pode remover todos esses pacotes. A maneira mais fácil de obter uma lista de pacotes é executar:
sudo dpkg --get-selections | grep -v deinstall > ~/packages
nano ~/packages
Isso exibirá uma lista de todos os pacotes instalados na sua pasta pessoal e a abrirá.
Quando você desinstala um pacote principal (como libreoffice-common), ele deve remover automaticamente os pacotes dependentes.
Para desinstalar, digite
sudo apt-get remove package-name
Após a conclusão de todas as desinstalações, execute o comando a seguir para remover automaticamente as listagens e dependências de pacotes que não são mais usadas.
sudo apt-get autoremove
Isso funcionou para mim transformando minha instalação da área de trabalho em um "servidor".
Se a GUI for útil, você pode instalar o xubuntu, pois é uma distribuição muito mais leve. Eu não ligava muito para isso, mas é definitivamente mais leve.