Não há receita geral. Se o seu sistema foi infectado por um Trojan desconhecido, tudo o que você pode fazer é reinstalar.
Se você sabe que o Trojan opera de uma certa maneira - por exemplo, você sabe que o Trojan não infecta o kernel - pode haver uma maneira menos severa de se recuperar. Mas isso depende inteiramente de saber como o cavalo de Tróia se comporta. Se tudo o que você tem são os sintomas (como o computador enviando spam sem o seu consentimento), não há técnica geral: o detector de cavalos de Troia precisa ser mais inteligente que o designer de cavalos de Troia (e sortudo). No que diz respeito aos cavalos de Troia, a detecção e a ocultação são como armas e armaduras: há uma escalada tecnológica e nenhuma das partes tem uma vantagem intrínseca (embora os caminhantes tenham uma vantagem inicial).
Muitos sistemas possuem um canal de distribuição seguro. Por exemplo, quando você instala um pacote a partir dos repositórios do Ubuntu com as ferramentas baseadas no apt (apt-get, aptitude, synaptic, centro de software,…), a ferramenta verifica se o pacote foi assinado (verificado) por alguém em quem o Ubuntu confie. (A maioria das distribuições possui um mecanismo semelhante.) Quando você instala um pacote a partir de um PPA, tudo que você pode saber é que o proprietário do PPA examinou o pacote, o que não ajuda em nada se você não tiver motivos para confiar no proprietário do PPA.
Sobre trojans e backdoors, recomendo vivamente a leitura da palestra do prêmio Turing, de Ken Thompson , Reflections on Trusting Trust . Para resumir, ele mudou o compilador para que, ao compilar o programa de login, ele adicionasse um código que lhe permitisse efetuar login com uma senha secreta; depois ele mudou o compilador para que, quando ele se compilasse, inserisse o código para adicionar o backdoor; então ele recompilou todo o sistema (em particular o programa de login e o compilador); finalmente, ele restaurou a fonte do compilador para a fonte original e inquestionável. Mais uma vez, leia o artigo de Ken Thompson ; então você também pode ler o contraponto de David Wheeler , talvez melhor compreendido pelo artigo do blog de Bruce Schneier .