Absolutamente! Você está procurando uma instalação sem cabeça (Virtualbox). A maneira de iniciar a máquina a partir da linha de comando é algo como:
VBoxHeadless --startvm Debian --vrdp=off
No entanto, você precisará de alguma maneira de se conectar. O que faço é mapear portas entre convidado e host. Com essa configuração, a porta do host 2222 será mapeada para a porta 22 da sua máquina convidada.
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/Protocol" TCP
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/GuestPort" 22
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/HostPort" 2222
Depois disso, você pode fazer login com:
ssh localhost -p2222