Eu o armazenaria apenas na pasta do tema se eu esperasse que o favicon mudasse quando eu mudasse o tema. O que eu não faço.
Um favicon faz parte da identidade total do site, não uma função do CMS. E se você usar um software que não seja do WP para executar diferentes partes do site - por exemplo, uma galeria de fotos, fórum ou wiki (ou todos os itens acima)?
Coloque o favicon na raiz do site e todos os pacotes de software terão acesso a ele, normalmente automaticamente (embora você precise remover LINKs codificados de temas individuais).
(Editar) Para esclarecer: Se nenhum LINK for especificado, todos os navegadores modernos (exceto o Seamonkey, embora exista uma opção para ativá-lo) automaticamente procuram um favicon no diretório raiz, por exemplo, example.com/favicon.ico. Portanto, não há motivo para adicionar um elemento LINK e um bom motivo para não fazê-lo.
Além disso, se o elemento LINK estiver malformado (digitar um erro de digitação) ou o arquivo localizado lá estiver corrompido ou em um formato que o navegador não entender, o navegador procurará /favicon.ico de qualquer maneira , para não ter um arquivo isso resultará em erros 404 em seus logs.
Há um caso em que um LINK é apropriado, ou seja, se você deseja diferentes favicons para páginas diferentes do seu site.