Use a opção "AllowUsers" no sshd_config para garantir que apenas um pequeno conjunto de usuários possa efetuar login. Todos os outros serão rejeitados, mesmo que seu nome de usuário e senha estejam corretos.
Você pode até restringir os usuários a logins de um host específico.
por exemplo,
AllowUsers user1 user2@host.example.com
Isso reduzirá o espaço de pesquisa e evitará os usuários antigos que foram deixados acidentalmente ou ativados (embora, é claro, eles devam ser desativados de qualquer maneira, essa é uma maneira fácil de impedir que eles sejam usados para uma entrada baseada em SSH).
Isso não impede totalmente os ataques de força bruta, mas ajuda a reduzir o risco.