Aqui está uma ilustração do problema (testado no Firefox e Chrome):
<div style="background-color: red;"><svg height="100px" width="100" style="background-color: blue;"></svg></div>
Observe o redespaço extra dentro do divabaixo do azul svg.
Já tentei configuração paddinge marginde ambos os elementos para 0, mas sem sorte.