As outras respostas são excelentes, e o spam tem muito a ver com isso.
Mas na verdade há uma resposta mais simples e genérica: recursos. O envio de email por SMTP é, na verdade, uma tarefa muito complexa. Mesmo sem spam, você não gostaria de implementar todo o conjunto de recursos do protocolo SMTP em todos os clientes de email; você está melhor com um software dedicado (sendmail, postfix etc., são os grandes do mundo * nix, Exchange no mundo do Windows).
Por exemplo, mesmo no mais básico, um servidor SMTP "real" precisa pelo menos ser capaz de resolver registros MX. Depois, é necessário negociar recursos (principalmente TLS, mas também existem outros recursos). Ele precisa gerenciar filas para tentar novamente, gerar relatórios de falha na entrega etc.
E essa é apenas a funcionalidade básica, indispensável, sem a qual o servidor nem funcionaria. Ele nem sequer inclui coisas como reescrever endereços, endereçáveis. Sem mencionar a dúzia de outros protocolos compatíveis com o sendmail e outros, como o UUCP.
A implementação de SMTP no Outlook, Thunderbird etc. é muito mínima - na melhor das hipóteses, aproximadamente o equivalente ao uso de um host inteligente no sendmail, se for o caso.
Problema relacionado, mas separado: o email é um tópico muito sensível à segurança, e você gostaria de ter um ou muito poucos servidores gerenciados centralmente, em vez de potencialmente centenas ou milhares de servidores individuais em cada área de trabalho.