você pode limitar o uso da memória com /etc/security/limits.conf neste arquivo que você coloca:
domain type item value
onde o domainé o @groupname, typeé hardou softonde hardé o limite que não pode ser excedido em nenhuma circunstância.
itemé o campo do item especifica que tipo de item está sendo limitado. Os exemplos incluem núcleo (o tamanho dos arquivos principais), dados (o tamanho da área de dados de um programa), fsize (o tamanho dos arquivos criados pelo usuário), nofile (o número de arquivos de dados abertos), rss (o conjunto residente tamanho), pilha (o tamanho da pilha), CPU (o tempo de CPU de um único processo em minutos), nproc (o número de processos simultâneos), maxlogins (o número de logons simultâneos) e prioridade (a prioridade do processo). Os dados, rss e itens da pilha estão relacionados à memória consumida por um programa. Essas e outras medidas de capacidade de dados são medidas em kilobytes.
e valuese relacionam com o itemcampo que você tem escolheu, por exemplo, se você tem escolheu cpuno itemcampo e colocar 2na valueentão no caso de o domain(você grupo de VirtualBox) é preciso mais do que 2do tempo da CPU será encerrado.
Você pode usar ulimittambém, mas restrito apenas ao shell bash.
Espero que isso ajude você em seu objetivo, embora não seja feito com o método solicitado.