O problema está na própria distribuição do VirtualBox, que agora não possui os módulos necessários.
Se você deu uma olhada no módulo VBoxHeadless.cpp , você veria que para isso funcionar, as seguintes condições devem ser atendidas:
- VBOX_FFMPEG deve ser definido
- A biblioteca compartilhada VBoxFFmpegFB deve estar disponível com o ponto de entrada VBoxRegisterFFmpegFB
No fio VBoxHeadless "Falha ao carregar a extensão de captura de vídeo" a partir de 2009, alguém chamado xantus tentou criar as condições necessárias, modificando as fontes de acordo, mas isso não funcionou.
Eu sugiro que o jeito certo de fazer isso, é abordar os desenvolvedores no Fóruns do VirtualBox e convencê-los a fazê-lo funcionar novamente, embora essa opção pareça ter sido abandonada desde pelo menos 2009.