O arquivo dmg (Instalar o OS X El Capitan.app/Contents/SharedSupport/InstallESD.dmg) não é uma imagem inicializável.
Para criar um arquivo inicializável, use o seguinte script. Pode ser necessário modificar alguns caminhos (por exemplo, o nome do usuário na última linha e o caminho para instalar o OS X El Capitan.app (e o arquivo InstallESD.dmg interno) na 6ª linha):
#!/bin/bash
# Create bootable El Capitan ISO
# Mount the installer image
hdiutil attach "/Applications/Install OS X El Capitan.app/Contents/SharedSupport/InstallESD.dmg" -noverify -nobrowse -mountpoint /Volumes/esd
# Create empty cdr image
hdiutil create -o ElCapitan.cdr -size 8000m -layout SPUD -fs HFS+J
# Mount the cdr image
hdiutil attach ElCapitan.cdr.dmg -noverify -nobrowse -mountpoint /Volumes/iso
# Restore Base System to the cdr image
asr restore -source /Volumes/esd/BaseSystem.dmg -target /Volumes/iso -noprompt -noverify -erase
# Remove Package link and replace with actual files
rm /Volumes/OS\ X\ Base\ System/System/Installation/Packages
# Copy Base System
cp -rp /Volumes/esd/Packages /Volumes/OS\ X\ Base\ System/System/Installation
cp -rp /Volumes/esd/BaseSystem.chunklist /Volumes/OS\ X\ Base\ System/
cp -rp /Volumes/esd/BaseSystem.dmg /Volumes/OS\ X\ Base\ System/
# Unmount the installer image
hdiutil detach /Volumes/esd
# Unmount the cdr image
hdiutil detach /Volumes/OS\ X\ Base\ System
# Convert the cdr to ISO/CD master
hdiutil convert ElCapitan.cdr.dmg -format UDTO -o ElCapitan.iso
# Rename the ISO and move it to the desktop
mv ElCapitan.iso.cdr $HOME/Desktop/ElCapitan.iso
# Clean up temporary file
rm ElCapitan.cdr.dmg
Cole o conteúdo em um editor de texto em um novo documento como texto sem formatação e salve-o como prepare_elcapitan_cdr.sh na área de trabalho.
Abra o Terminal, chmod o script e execute:
chmod +x ~/Desktop/prepare_elcapitan_cdr.sh
cd ~/Desktop
./prepare_elcapitan_cdr.sh
Desconecte o elcap.dmg da VM. Use o ElCapitan.iso final como iso do instalador e anexe-o à porta SATA virtual 1. Você pode excluir o arquivo ElCapitan.cdr.dmg.