Sim, mas não é apenas por causa do uso do Telnet e de suas senhas fracas, é por causa da sua atitude em relação à segurança.
Boa segurança vem em camadas. Você não deve assumir que, por ter um bom firewall, sua segurança interna pode ser fraca. Você deve assumir que, em algum momento, seu firewall estará comprometido, as estações de trabalho terão vírus e seu switch será invadido. Possivelmente tudo ao mesmo tempo. Você deve garantir que coisas importantes tenham boas senhas e coisas menos importantes também. Você também deve usar criptografia forte quando possível para o tráfego de rede. É simples de configurar, e no caso de OpenSSH, torna a sua vida mais fácil com o uso de chaves públicas.
E então, você também deve tomar cuidado com os funcionários. Certifique-se de que todos não estejam usando a mesma conta para qualquer função. Isso torna uma dor para todos quando alguém é demitido e você precisa alterar todas as senhas. Você também deve garantir que eles não sejam vítimas de ataques de phishing por meio da educação (diga a eles que, se você já solicitou a senha deles, seria porque você acabou de ser demitido e não tem mais acesso! Qualquer outra pessoa tem ainda menos motivos para perguntar.), Além de segmentar o acesso por conta.
Como esse parece ser um novo conceito para você, provavelmente é uma boa ideia escolher um livro sobre segurança de rede / sistemas. O capítulo 7 de "A prática da administração de sistemas e redes" aborda um pouco esse tópico, assim como a "Administração de sistemas essenciais", que eu recomendo a leitura de qualquer maneira . Há também livros inteiros dedicados ao assunto.