O tamanho da chave RSA importa apenas no momento em que a conexão é estabelecida. O tamanho da chave pode importar se uma das máquinas for lenta, pois chaves maiores significam cálculos mais longos, mas seu impacto nos tempos de conexão é insignificante.
Se o rendimento é um problema, comprimir a conexão: ssh -C
.
Se o tempo de estabelecimento da conexão for um problema, ative uma única conexão SSH principal e use o modo escravo para conexões subseqüentes.
Se a latência for um problema, não há muito o que fazer, a não ser adaptar seus hábitos. Se a latência for tão alta que os programas interativos forem difíceis de usar, digite comandos localmente e envie-os quando terminar (o modo de shell do Emacs é bom para isso). Faça o gerenciamento de arquivos por SSHFS (exceto cópias remotas para remotas).
Evite precisar do X remoto, pois é sensível à latência e consome largura de banda. Se você realmente precisa, o NX é o melhor da colheita (mas é difícil de configurar porque não é um software livre, portanto as distribuições não o fornecem; isso pode mudar à medida que clones livres estão surgindo).