O favicon pode afetar o SEO. Eu vi um caso em que um site tinha um favicon que tinha cerca de 400kb de tamanho - diminuindo a velocidade do site. A velocidade é um fator de classificação no Google e os sites de carregamento lento provavelmente têm métricas ruins, o que também pode afetar negativamente o SEO.
Além disso, a maioria dos navegadores procura automaticamente um arquivo chamado favicon.ico na pasta raiz de um site - se o arquivo não existir, será retornado um erro 404 Não encontrado -, portanto, faz sentido ter um arquivo pequeno ou em branco em vez de nada para impedir que o servidor extra porco.
Se você tiver um favicon diferente em cada página, mantenha o tamanho do arquivo o menor possível, para minimizar o impacto nas velocidades de download.