Em relação à sua pergunta - sim, você perderá o acesso a todas as máquinas nesse host físico. Obviamente, depende de qual componente falhou. Se for um disco - é um problema, se for uma placa-mãe - é muito mais fácil. Em geral, a recuperação de hardware é mais fácil, pois o hipervisor é independente de hardware. Nesse momento, existem muitas tecnologias específicas de fornecedor que você pode usar para ter serviços altamente disponíveis.
Pools de recursos (vmware) - NÃO são capazes de agregar vários recursos físicos de host (CPU, memória, etc.), conforme mencionado acima, portanto, se você tiver 2 hosts físicos (digamos 1 núcleos de 1CPU sem hyperthreading - 8GBRAM cada), NÃO será possível ter 5vCPU-12Gb VM lá. Os pools de recursos são lógicos, não são capazes de criar sistemas de supercomputação. No momento, essa é uma maneira de controlar a utilização de recursos.
Disponibilidade (vmware) - é possível usar tecnologias como Alta Disponibilidade (HA), que permitem recuperação automática (com base na minha experiência em 1 a 2 minutos ) de todas as VMs no cluster automaticamente, se você estiver usando Storage Array (NAS, iSCSI, FC) e mantenha todos os arquivos da VM lá. Mais sobre HA funciona apenas no caso de falha da CPU, RAM, placa-mãe, é óbvio que não funcionará. Para evitar falhas de RAID / controladores, as pessoas usam espelhamento de replicação, LUNs de armazenamento etc.
Se a recuperação dentro de 1 a 2 minutos não for uma opção, existem tecnologias como Fault Tolerance (FT) que permitem obter ZERO downtime da VM em caso de falha mantendo uma cópia de sombra (em execução) da VM configurada. Mas essa tecnologia também possui muitas restrições - o problema de VMs com tolerância a falhas com várias vCPUs não está totalmente resolvido.
No geral, cada solução depende do seu objetivo.