Existem dois fatores envolvidos aqui. Em ordem:
Emulação da CPU
É possível que uma incompatibilidade entre o host e o convidado force a VM a usar o modo de emulação da CPU. Não espero que isso aconteça, mas, dependendo do seu hipervisor, sistema operacional e arquitetura, é possível. Você quer evitar isso a todo custo. A outra parte disso em que você deseja que o hipervisor da VM também corresponda ao seu sistema host. Portanto, se você possui Windows de 64 bits, procure uma edição de 64 bits do VirtualBox, VMWare etc. Depois de ter certeza de que isso não é um problema, tudo se resume ao seguinte fator:
RAM
Se você geralmente oferecer a seus convidados menos de 4 GB de RAM, fique com 32 bits por enquanto. Também há outras alterações na mudança para x64, mas, na maior parte, elas não ajudam suas VMs tanto quanto a RAM salva de um ponteiro / tamanho menor, porque as VMs têm mais problemas de E / S e precisam da RAM mais para ajudar a economizar o acesso ao disco com a mesma frequência. Não se esqueça de permitir o crescimento aqui. Você não precisa reconstruir uma VM do zero. Por exemplo, eu provavelmente configuraria uma VM agindo como um servidor de banco de dados como 64 bits, mesmo que agora tenha apenas 2 GB de RAM. Eu faria o mesmo para uma imagem de teste do Windows 7. Mas se eu tivesse uma máquina que existe para algo como testar um site no IE7 no Windows XP, deixaria isso em 32 bits.
Como nota final, você menciona que tem o hyperthreading desativado. Você provavelmente quer isso se estiver fazendo muito trabalho com VM. Às vezes, você deseja desativar essa opção porque fornece mais cache por núcleo. A maioria das pessoas com processadores quad core nem usa todos os núcleos a maior parte do tempo, e o núcleo adicional fornecido pelo hyperthreading não é tão poderoso por causa de problemas de conflito no pipeline, onde as duas instruções que acontecem no mesmo físico podem ser relacionado de alguma forma. Assim, o ganho de tamanhos de cache maiores em poucos núcleos às vezes pode superar o ganho de núcleos fracos adicionais. As VMs, no entanto, podem usar esses núcleos extras falsos e ter certeza de pipelines bastante limpos com alguns dos problemas que normalmente retêm esse recurso.