Existem prós e contras para autenticação baseada em chave ou pw.
Em alguns casos, por exemplo, a autenticação baseada em chave é menos segura que a autenticação por senha. Em outros casos, é baseado em pw e menos seguro. Em alguns casos, um é mais conveniente, em outros, menos.
Tudo se resume a isso: Quando você faz a autenticação baseada em chave, deve proteger sua chave com uma senha. A menos que você tenha o ssh-agent em execução (o ssh-agent o libera de inserir sua senha sempre), você não ganhou nada em termos de conveniência. A segurança é discutível: o vetor de ataque agora passou do servidor para VOCÊ, sua conta ou sua máquina pessoal, (...) - esses podem ou não ser mais fáceis de quebrar.
Pense fora da caixa ao decidir isso. Se você ganha ou perde em termos de segurança, depende do restante do seu ambiente e de outras medidas.
edit: Ah, acabei de ver que você está falando de um servidor doméstico. Eu estava na mesma situação, "senha" ou "pendrive com chave" sempre comigo? Eu optei pelo primeiro, mas mudei a porta de escuta do SSH para algo diferente de 22. Isso impede que todos aqueles jovens com scripts coxos brutais forcem intervalos de rede inteiros.