Eu os uso como caixa preta há um tempo, estou apenas aprendendo sobre matemática, mas gostaria de algumas respostas definitivas para essa pergunta.
Até agora, o único benefício que me deparei pessoalmente é a capacidade de SLERP entre dois ângulos - para obter o mesmo efeito com um vetor em que você precisa de um trabalho bastante feio (vincular intrinsecamente 0 e 2PI).