Eu experimentei isso em uma versão de 32 bits no vs2017.
Exatamente nenhuma das soluções funcionou para mim. Reiniciei, limpei os arquivos IDE, limpei a solução criada, extraí do git repo e reconstruí a solução sem sucesso.
Eu estava obtendo uma dependência de 64 bits do nuget e, assim que usei o assembly, as fontes não estavam mais sendo construídas no executável final e, em vez disso, as fontes em cache do IDE estavam sendo construídas.
Removai a configuração de nuget, removi o assembly referenciado, baixei a fonte, criei o log4net manualmente, assinei, adicionei-o a uma pasta no meu projeto, adicionei referência a ele e pude depurar novamente.
Isso foi uma dor, espero que consiga aparecer na lista de respostas para todos verem.
Editar: não houve erro durante a compilação, apesar de a opção "erro na solicitação de compilação" estar ativada nas configurações do IDE.