Acabei de executar um teste e a única diferença parece estar em navegadores móveis.
Criei uma imagem de 990 x 900px do ícone do Twitter (esse ícone parece muito detalhado para um bom dimensionamento, tão bom para este teste). Salvei isso como SVG, JPG, GIF, GIF transparente (apenas a forma do pássaro, sem cor de fundo, em vez de adicioná-lo com CSS), PNG, PNG transparente.
Em seguida, reduzi-os para 15px, 25px, 50px, 100px e 150px.
Aqui estão os resultados no Firefox:
Aqui estão os resultados no Chrome:
Se aplicarmos zoom em uma captura de tela com os menores resultados, para que possamos ver quais pixels estão sendo gerados, o Firefox (em cima) escurece levemente as bordas das versões não transparentes, mas todos os outros resultados são muito semelhantes.
No entanto, em um navegador Safari do iPod Touch, a versão SVG parece bastante borrada e as outras bastante pixelizadas:
Um resultado semelhante também é visto no Android Chrome. Não tirei uma captura de tela disso.
Gostaria de saber se o motivo disso pode ter algo a ver com a densidade de pixels, que é a principal diferença na exibição, embora isso faria mais sentido para mim se todas as imagens fossem tratadas de maneira diferente no celular, em vez de apenas no SVG.
Se alguém puder explicar por que esse é o caso, transferirei o visto aceito. Caso contrário, acho que a resposta TL; DR é que depende se você preferir ícones desfocados ou pixelados (ou criar muitos ícones com tamanhos perfeitos de pixel para seus pontos de interrupção responsivos).
edit: desde então, observei que os svgs geralmente são muito mais claros em dispositivos apple - o pássaro do twitter pode ter sido muito detalhado para que isso apareça nos meus testes acima, então sinta que eles são o formato certo para os ícones.