A diferença entre os kernels Virtual e Server é que o kernel Virtual deve ser utilizado dentro de uma máquina virtual. O kernel virtual inclui apenas os drivers necessários para executar dentro de tecnologias populares de virtualização, como KVM, Xen e VMWare. O kernel do servidor, por outro lado, contém os drivers necessários para trabalhar com uma ampla gama de hardware e deve ser instalado diretamente nos sistemas host. Fora isso, todas as outras opções são idênticas entre o servidor e o kernel virtual.
https://help.ubuntu.com/community/ServerFaq#What_are_the_differences_between_the_server_and_virtual_kernels.3F
A diferença é que o kernel virtual agrupa apenas os drivers necessários para os dispositivos de hardware virtual comuns, em vez de todos os módulos para o hardware do mundo real.
Portanto, é consideravelmente menor em termos de espaço em disco. Não conheço nenhum ajuste de desempenho ou diferença funcional dessa maneira, acho que é apenas para imagens menores.
http://ubuntuforums.org/showthread.php?t=1635961