Você não pode fazer login porque copiou sua chave pública do servidor. A segurança do SSH não funciona porque você tem a mesma chave no cliente e no servidor, mas porque tem as chaves privada correspondente (no seu cliente) e pública (no servidor). Sua chave pública é um pouco como um cadeado que você pode reproduzir à vontade e pode abrir com a chave privada que você é o único a ter (e que você deve manter o mais seguro possível). As pessoas podem roubar o cadeado, mas sem a chave não há utilidade para ele.
Então você tem que encontrar a chave privada que você usa para fazer o login no servidor, e copiá-lo para qualquer sistema que você deseja usar como cliente (alternativamente, você pode regenerar um par de chaves ...). Observe que o SSH é exigente quanto às permissões no diretório SSH e seu conteúdo (não deve ser gravável por ninguém além de você).