Eu recomendo ficar longe de soluções feitas manualmente, pois há um monte de coisas um tanto difíceis que precisam ser resolvidas da maneira certa - como a forma como as transações são tratadas, como as exceções causam reversões, como parar de reverter indefinidamente (mensagens suspeitas), como se integrar com fluxos de trabalho de longa duração para que os limites de gerenciamento de estado se alinhem e muito mais.
Provavelmente, você desejará algum tipo de infraestrutura de mensagens durável / transacional, portanto, sem usar o MSMQ, você ficaria com o Service Broker na plataforma da Microsoft ou alguma outra alternativa como o ActiveMQ. O MSMQ tem a vantagem de já estar instalado em todas as máquinas Windows, ao contrário do Service Broker, que não é.
Em termos de escolha entre NServiceBus, Mass Transit e Rhino Service Bus - esta resposta Stackoverflow comparando NServiceBus ao MassTransit seria um bom lugar para começar.
Em nossa versão 3.1, estamos apresentando o NSB Studio - um conjunto de ferramentas de modelagem integrada do Visual Studio que permite modelar seu sistema em um nível mais alto de abstração e fazer com que grande parte da configuração e inicialização do NServiceBus seja feita para você automaticamente. Eu diria que isso realmente inclina a balança a favor do NServiceBus.
Espero que ajude.
Isenção de responsabilidade: eu sou o autor de NServiceBus.