Trecho do wiki no e-mail:
Campos de cabeçalho: o cabeçalho da mensagem deve incluir pelo menos os seguintes campos:
De: O endereço de e-mail e, opcionalmente, o (s) nome (s) do (s) autor (es). Em muitos clientes de e-mail, não pode ser alterado, exceto por meio da alteração das configurações da conta.
Observe também que o campo "De:" não precisa ser o remetente real da mensagem de e-mail. Um dos motivos é que é muito fácil falsificar o campo "De:" e fazer com que uma mensagem pareça ser de qualquer endereço de e-mail. É possível assinar digitalmente um e-mail, o que é muito mais difícil de falsificar, mas essas assinaturas requerem programação extra e, muitas vezes, programas externos para verificação. Alguns ISPs não retransmitem e-mail alegando vir de um domínio não hospedado por eles, mas muito poucos (se houver) verificam se a pessoa ou mesmo o endereço de e-mail nomeado no campo "De:" é o único associado à conexão. Alguns ISPs aplicam sistemas de autenticação de e-mail aos e-mails enviados por meio de seus MTAs para permitir que outros MTAs detectem spam forjado que possa parecer ter vindo deles.
Remetente: Endereço do remetente real agindo em nome do autor listado no campo De: (secretária, gerente de lista, etc.).
Detalhes em http://en.wikipedia.org/wiki/Email
Por exemplo, o gmail usa os campos de / remetente para enviar e-mails de endereços de e-mail diferentes da sua conta do gmail (após a verificação).
message.Sender != null ? message.Sender : message.From
. O resultado é SmtpClient não permite que você envie valores distintos para Sender e From