Se o ssh conseguir estabelecer a conexão, ele será definido DISPLAYcomo o valor apropriado. Como você X11DisplayOffsetdefiniu 10 (o valor padrão), o ssh usará a primeira exibição disponível começando em 10. Se você vir um valor menor que 10¹, algo está interferindo no encaminhamento normal do X11 configurado pelo ssh, pelo menos por substituindo DISPLAY. O valor :0(ou :0.0a parte após o ponto é irrelevante) indica a primeira exibição iniciada na máquina, que em casos típicos é a sessão ativa (ou o prompt de login gráfico) no console da máquina.
A explicação mais provável para o comportamento observado é que um dos seus arquivos de configuração de shell é definido DISPLAY. O culpado mais óbvio é ~/.bashrc(que devido a uma peculiaridade do bash é executado sempre que o pai do bash é rshdou sshd, mesmo que o shell não seja interativo). Outro arquivo que define variáveis de ambiente é /etc/environment. Se for esse o caso, a solução é óbvia: não fique DISPLAYlá. (Existem muito poucos casos em que você precisa definir DISPLAYmanualmente.)
Existem outras explicações exóticas. Isso pode acontecer se você tiver alterado seu shell de login para screen(uma idéia interessante em teoria, mas não prática) e você tiver um arquivo de inicialização do shell que forçosamente define a DISPLAYtela interna (não é uma boa ideia). Isso também pode acontecer se você configurou o servidor para aceitar variáveis de ambiente enviadas pelo cliente ( AcceptEnvdiretiva in sshd_config), o cliente está enviando DISPLAYe a conexão X não pôde ser estabelecida. Ou pode acontecer se você definir uma variável de ambiente no servidor através da commanddiretiva in ~/.ssh/authorized_keys. Ou xtermpoderia ser um script.
¹ Ou qualquer que seja o valor de, X11DisplayOffsetesteja na configuração do servidor, mas quase nunca é alterado do padrão.
xtermno terminal atual antes do ssh-ing?