O programa que armazena em cache suas chaves ssh é o programa ssh-agent; se você olhar a página do manual, poderá ver esta opção relivente:
-t life Set a default value for the maximum lifetime of identities added
to the agent. The lifetime may be specified in seconds or in a
time format specified in sshd_config(5). A lifetime specified
for an identity with ssh-add(1) overrides this value. Without
this option the default maximum lifetime is forever.
Você pode editar o programa ssh-agent nos seus programas de inicialização. Vá para System > Preferences > Startup Programs
, procure SSH Key Agent
e adicione -t 3600
ao comman. Isso expirará suas chaves em uma hora.
Você precisará reiniciar sua sessão (sair e entrar novamente) para que ela entre em vigor. Você também pode fazer algo semelhante à sua chave gpg, que também pode ser definida em um programa do agente, que pode ser iniciado da mesma maneira (mas não é instalado por padrão), caso você esteja cansado de digitar sua frase-senha do gpg para criação de pacotes ou envio por e-mail.