Respostas:
Com a imagem Raspbian, você pode executar novamente o script de inicialização inicial usando:
$ sudo raspi-config
e digitando sua senha sudo.
Isso exibirá as mesmas opções de menu que você obteve após a primeira inicialização.
Você não precisa refazer todas as suas primeiras opções de inicialização, basta usar as teclas de seta para ir para as opções de menu que deseja alterar.
No seu caso, selecionando:
Iniciar o servidor X após a inicialização?
e escolhendo:
não ou desativar
vai resolver você.
Edição para adicionar opções não baseadas em GUI:
Conforme observado nos comentários abaixo do @mirk, o comando exato para a framboesa é:
sudo update-rc.d lightdm disable
Como o X.Org funciona é que você tem um gerenciador de desktop que inicializa o X Server para você. Isso significa que, para impedir a inicialização do X Server, é necessário remover o gerenciador de destkop da lista de daemons.
Se você estiver usando o GNOME, seu gerenciador de área de trabalho é o GDM. Se você estiver usando o KDE, seu gerenciador de desktop será o KDM. Para isso, vou assumir que você está usando o GNOME; portanto, você está usando o GDM como seu gerenciador de desktop.
No Raspian, o gerenciador de desktop é chamado LightDM.
Para desativar um daemon no Debian (do qual o Raspbian é um fork), você deve executar o seguinte comando.
$ sudo update-rc.d <daemon> disable
Portanto, para desativar o LightDM, precisamos executar o seguinte comando.
$ sudo update-rc.d lightdm disable
E agora, na sua próxima reinicialização, o LightDM não deve iniciar e, por sua vez, não iniciará o X Server.
sudo update-rc.d lightdm disable
A resposta aceita não funcionou para mim na versão "Jessie". Acabei usando:
sudo systemctl set-default multi-user.target
Referência: Tentando desativar o X11 em Jessie