Gerei uma chave e a copiei no meu destino:
ssh-keygen
ssh-copy-id username@hostname
Deixei o local da chave como padrão e não defini nenhuma senha.
Por um pequeno tempo depois disso, consegui ssh username@hostname
sem ser solicitada uma senha e, em seguida, ela parou de funcionar por algum motivo.