Sim, deve ser seguro remover o servidor X. Na verdade, eu ainda não tentei isso no Raspberry Pi (como ainda não o tenho), mas espero que a remoção do servidor X sudo apt-get remove xserver-xorg
funcione bem.
Na Debian e na maioria das outras distribuições Linux sensíveis, os pacotes do cliente X não têm dependências em um servidor X, precisamente para que seja possível ter clientes X instalados em uma máquina sem um servidor X. Os clientes Teses X podem então executar e exibir remotamente, conforme o seu caso de uso, o que é realmente muito comum para servidores Linux.
Você deve conseguir fazer o ssh no encaminhamento do Raspberry Pi com X a partir de uma máquina executando um servidor X com ssh -X <your_Pi's_IP_adress>
. Os clientes X iniciados no SSH no Pi devem ser encaminhados para o servidor X e aparecer localmente.
sudo apt-get remove xserver-xorg
e tudo parece bem.