Questão 1 ... Esta é a única vez que uma senha é necessária?
O usuário precisa obter sua chave pública de Q para A. Há uma variedade de meios para fazer isso (o administrador do sistema pode configurá-lo para eles, eles podem efetuar login com uma senha e instalá-los, alguma forma de automação pode adicionar isto). Independentemente disso, seria a política de A determinar se uma senha poderia ser usada ou não. Portanto, no exemplo, você não precisaria da senha para A novamente, mas, se os logins de senha forem permitidos, sua senha ainda estará em risco.
Questão 2 ... Se um hacker adquirisse a chave privada, poderia fazer login de outro servidor? Sim eles poderiam. Supondo que eles também soubessem o ID do usuário ao qual a chave estava associada. Apenas a chave privada sozinha não lhes permitiria o acesso. Teria que ser emparelhado com o usuário.
Considerando a sua pergunta, existe uma variedade de meios para proteger A contra um ataque, como redes limitantes, das quais ele aceitaria um login. Esta é uma discussão muito complicada para uma resposta aqui, mas você pode limitar seu risco.
Sua suposição de que uma chave sem uma frase secreta não é mais segura que uma senha é muito ampla. Como qualquer mecanismo de segurança, os controles apropriados sobre os ativos de segurança são críticos. Em muitos casos, as chaves são extremamente úteis e, quando acopladas a mecanismos secundários, como controle de acesso, limitação de rede, etc., podem ser muito eficazes.