Não, ele não armazena a senha.
O que ele faz é armazenar a chave desbloqueada / descriptografada na memória, para que possa usá-la para assinar solicitações conforme necessário, sem solicitar ao usuário que a desbloqueie toda vez. Contanto que você tenha o agente executando sua sessão, ele estará vulnerável a alguém com as permissões necessárias (seu usuário ou root) acessando o soquete que fala com o agente e usando as chaves carregadas no agente para assinar suas próprias solicitações e, assim, fazer login qualquer coisa em que sua chave privada o envolva.