Você pode definir o host e a porta SMTP em Sistema> Configuração> Avançado> Sistema> Configurações de envio de email.
Para enviar e-mails de um servidor SMTP externo, no entanto, eu recomendaria a extensão gratuita SMTP Pro .
Ashley (o criador da extensão) descreve quais são as vantagens:
Esta extensão Magento é criada para usuários experientes que precisam de controle total das configurações do servidor SMTP Magento. Você pode controlar a autenticação, segurança e especificar seu próprio host e porta. A extensão suporta boletins de autoteste e Magento. Agora, essa extensão também pode configurar e enviar facilmente endereços de e-mail do Gmail ou do Google Apps.