Consegui instalar com êxito o ESXi 4.1 em uma VM do Virtualbox. Eu tive o mesmo problema com o teclado não sendo reconhecido. Por um capricho, tentei instalá-lo no Virtualbox 3.2.6 fazendo alguns ajustes e não encontrei problemas.
Quando você cria a VM, define a memória para 2 gb, o disco rígido para 10 gb, mudei a placa de rede para Ponte para poder usar o cliente na área de trabalho do host, clique na opção avançada e selecione a placa Intel 1000 Server MT. Também mudei o vídeo para 128mb, mas duvido que isso prejudique qualquer coisa, se for menor. Walla, sem problemas no teclado e a instalação foi concluída com êxito. você pode fazer todas as alterações na configuração sem problemas.