Existem diferentes maneiras de resolver isso: você pode configurar sshd(do lado do servidor) ou ssh(do lado do cliente) para não usar a autenticação por senha. Desativar a autenticação de senha no servidor torna seu servidor mais seguro, mas você terá problemas se perder a chave.
Para criar ssh(lado do cliente) usando autenticação pubkey, adicione algumas opções ao sshcomando:
ssh -o PubkeyAuthentication=yes -o PasswordAuthentication=no -X git@server
Se isso funcionar, você pode definir a PasswordAuthentication=noopção permanentemente no arquivo de configuração do cliente ssh em todo o /etc/ssh/ssh_configsistema ou ~/.ssh/configespecífico do usuário (em detalhes, consulte man ssh_config).