O tamanho da janela é controlado pela resolução da tela da VM. Se você redimensionar manualmente a janela no host, você apenas ampliará a imagem retornada pela VM, portanto é claro que isso gera uma qualidade de imagem muito ruim.
Altere a resolução da tela na configuração da VM, por meio da GUI ou diretamente pela linha de comando xrandr.
Primeira execução xrandrsem argumentos, ele exibirá todas as saídas (nesse caso, são apenas as saídas virtuais emuladas pelo VirtualBox).
Screen 0: minimum 320 x 200, current 1024 x 768, maximum 8192 x 8192
VGA1 connected 1024x768+0+0 (normal left inverted right x axis y axis) 0mm x 0mm
...
Agora execute xrandr --output <output> --size <resolution>e substitua "output" e "size" pela saída conectada que você obteve do comando anterior (neste caso VGA1) e a resolução que você deseja definir, eu recomendo configurá-lo um pouco mais baixo que o monitor real para deixar espaço para a barra de tarefas e a barra de título da janela do Virtualbox.
Exemplo: xrandr --output VGA1 --size 1920x1040.
Depois de definir a resolução na VM, o VirtualBox redimensionará automaticamente sua janela no host.
A propósito, aqui está a documentação oficial do Ubuntu sobre como alterar a resolução da tela.