Respostas:
+1 para Postfix
Tenha muito cuidado para garantir que sua máquina não possa ser usada como um relé aberto. Se for apenas para uma LAN interna, não aceite conexões no seu IP público. Se for para um servidor SMTP externo, verifique se você não aceita nenhum email não destinado ao seu domínio. Se você precisar fornecer SMTP para seus usuários enquanto eles estiverem fora da rede, use uma VPN (nesse caso, eles não estão fora da rede) ou implemente autenticação (e autenticação real, não apenas POP antes do SMTP)
Faça o que fizer, não use o Sendmail. Os arquivos de configuração são tão complicados que eles criaram uma linguagem de macro que compila até os arquivos de configuração reais.
O livro O'Reilly Sendmail (o livro dos morcegos) é o mais grosso da minha prateleira.
O Slicehost possui artigos fantásticos que funcionarão com qualquer host, com guias específicos por e-mail em articles.slicehost.com/email .
Eu usaria o qmail, basta seguir esse livro muito bom "life with qmail"