Os ambientes de teste são grandes, como outros já mencionaram.
- teste de navegador (ou seja, safari, etc, ...)
- ambiente de teste limpo
- fácil de ter várias configurações
- teste de acessibilidade (leitores de tela e similares)
Eu tenho uma VM estritamente para criar perfil e depurar meu código, que já tem o kcachegrind configurado, junto com selenium, xdebug e algumas outras ferramentas configuradas para criar um perfil e depurar facilmente meu código. Sim, alguns podem dizer que isso já seria um ambiente de desenvolvimento, mas pessoalmente eu gosto de ter uma VM no meu desktop dedicada a esse tipo de tarefa.
Além disso, em relação à lentidão em uma VM:
As coisas são mais lentas em uma VM devido à sobrecarga necessária para "virtualizar" o ambiente. No entanto, a VM está se aproximando cada vez mais do hypervisor, o que diminui a sobrecarga necessária para a VM.