Na verdade, isso não é definido explicitamente em nenhum lugar, e se o servidor deve ou não ser "confiável" depende do cliente (que pode ser outro servidor de email) conectado a ele; citando a RFC relevante ( RFC 2487 ):
Se o cliente SMTP decidir que o nível de autenticação ou
privacidade não é alto o suficiente para continuar, deve emitir um
comando SMTP QUIT imediatamente após a conclusão da negociação do TLS.
Se o servidor SMTP decidir que o nível de autenticação ou
privacidade não é alto o suficiente para continuar, DEVE responder a
todos os comandos SMTP do cliente (exceto um comando QUIT) com
o código de resposta 554 (com uma possível sequência de texto como como "Comando
recusado por falta de segurança").
A decisão de acreditar ou não a autenticidade da
outra parte em uma negociação TLS é uma questão local. No entanto, algumas
regras gerais para as decisões são:
- A SMTP client would probably only want to authenticate an SMTP
server whose server certificate has a domain name that is the
domain name that the client thought it was connecting to.
O que isso significa basicamente é que, quando o servidor oferece criptografia TLS usando um determinado certificado, a decisão sobre aceitar ou recusar depende totalmente da outra parte, que provavelmente desejará que o nome no certificado seja o mesmo ao qual está conectado, mas poderia aceite muito bem, mesmo que não corresponda.
Mas espere, tem mais. Citando novamente do mesmo RFC:
Após a conclusão do handshake TLS, o protocolo SMTP é redefinido para
o estado inicial (o estado no SMTP após um servidor emitir uma
saudação pronta para 220 serviços). O servidor DEVE descartar qualquer conhecimento
obtido do cliente, como o argumento para o comando EHLO,
que não foi obtido da negociação do TLS. O cliente
DEVE descartar qualquer conhecimento obtido do servidor, como a lista
de extensões de serviço SMTP, que não foram obtidas da
negociação do TLS . O cliente DEVE enviar um comando EHLO como o
primeiro comando após uma negociação bem-sucedida do TLS.
Portanto, o que o servidor está dizendo em resposta ao HELO / EHLO antes do handshake TLS não parece realmente importar.
Na minha experiência, os certificados autoassinados funcionam muito bem em servidores de email voltados para a Internet, o que significa que os outros servidores nem sequer se preocupam em validá-los, eles apenas aceitam com satisfação qualquer coisa que possa fornecer criptografia TLS, independentemente da emissão autoridade ou nome do sujeito.