Basicamente, começou porque alguns sites costumavam cheirar o agente do usuário para dizer qual navegador alguém estava usando, para que eles pudessem bloquear navegadores que eles pensavam que não funcionariam com seus sites. Especificamente, os sites estavam bloqueando o Internet Explorer porque ele não oferecia tantos recursos quanto o Netscape Navigator. Em vez de simplesmente criar um site que funcione nos navegadores, os webmasters optaram por bloquear o IE completamente. Para contornar isso, o Internet Explorer começou a colocar o Mozilla em seu user agent (com "compatível" entre parênteses).
Outro motivo é que alguns navegadores compartilham o mesmo mecanismo de renderização. Por exemplo, o Safari e o Chrome usam o mecanismo de renderização do webkit. Firefox e SeaMonkey usam lagartixa. Como resultado, ambos terão partes de seu user-agent que corresponderão e / ou mencionarão o outro navegador.
Este artigo possui um bom resumo do histórico do agente do usuário com muito mais detalhes.