Assinar assemblies que são usados em um ambiente confiável soa como um exagero para mim.
Um ponto interessante sobre assemblies assinados é que eles são ligeiramente mais lentos para carregar do que assemblies não assinados, pois eles devem ser verificados criptograficamente.
Para assinar uma assembleia, todas as assembleias da qual depende também devem ser assinadas. Meu palpite é que isso contribui para o desejo do seu colega de assinar tudo - o compilador está exigindo isso.
EDITAR Desde que escreveu esta resposta, você pode ver que os pró e contra o acampamento têm suporte aproximadamente equivalente. Claramente não há uma resposta certa aqui.
O ponto que motivou esta edição é que hoje em dia pegamos muitas bibliotecas de código aberto do NuGet, e muitas delas não são assinadas. Se você quiser assinar seu assembly, também precisará ter todas as dependências assinadas. Muitas das bibliotecas de código aberto assinadas têm as chaves privadas usadas para assinatura disponíveis publicamente em seus repositórios de origem.
Como em tudo, há trocas a serem feitas. Na minha experiência de trabalho em ambientes privados, os benefícios de assinar são principalmente teóricos (ou acadêmicos, como @ user289100 menciona), a menos que você esteja preocupado com agências governamentais modificando seu código. Nesse caso, você precisa ser paranóico com tantos níveis de sua infraestrutura essa assinatura pareceria um pequeno esforço. Caso contrário, a quantidade de desafios que resultam de ter que assinar tudo simplesmente não parece valer a pena. No entanto, seu ambiente pode ter requisitos diferentes, ou você pode ser um masoquista!
Consulte também a resposta de Teun D para obter informações sobre os desafios relacionados aos assemblies de controle de versão ao usar nomes fortes.