Resposta curta: Sim.
Nos "velhos tempos", era possível impedir efetivamente qualquer outro aplicativo X de ler uma entrada específica, agarrando-a. Embora isso ainda possa ser feito até hoje, a especificação do protocolo XI2 parece sugerir que isso não pode mais ser feito (consulte a descrição de Raw Events na linha 2220). Portanto, somente no X, você não está mais seguro - pelo menos não nas configurações simples usuais. Consulte também a discussão na minha resposta para Como permitir que um daemon solicite uma senha (no Xsession, keyloggersafe)? e as perguntas e respostas do AskUbuntu referenciadas lá. Escusado será dizer que nenhum terminal está realmente fazendo isso - e é por isso que aplicativos como o OpenSSH ou o GnuPG vêm com seus próprios auxiliares de interface do usuário, que pegam o teclado (embora, como mencionado acima, isso não ajude muito hoje em dia).
O que você poderia fazer seria executar um aplicativo em um servidor X diferente, por exemplo, um servidor X aninhado como Xephyrou Xnestou um baseado em VNC Xvnc. O protocolo de Wayland também deve fornecer alguma proteção contra a escuta.
Além do acima, o aplicativo também poderia ter tentado explorar uma falha de segurança não corrigida em seu sistema e, assim, obter privilégios elevados. Ou faça algo mais fácil, como colocar um sue sudoinvólucros em seu caminho antes dos do sistema e, assim, interceptar as senhas (obrigado @ Josué pelo comentário).