Problema de SSH da rede doméstica externa

Meu problema é:

Eu estou tentando acessar um servidor fora da minha rede que tem um IP estático público (PSIP) com ssh, mas quando eu tento usar o PSIP a conexão expira. Estou executando o servidor como uma VM do Debian Wheezy.

Exemplo:

me@mylocalhost ~# ssh me@x.x.x.x (where x is the PSIP)
connection timed out unable to reach host

Eu vou para a minha configuração vpn que me coloca na rede remotehost e eu sou capaz de acessá-lo de lá. Eu olhei através dos meus syslogs e dmesg e não encontrei nada indicando erros com o ssh. Se eu executo "dmesg | grep ssh" ou "dmesg | grep sshd" não recebo nenhuma saída e volto ao meu prompt eu vou.

 ssh -v me@x.x.x.x OpenSSH_6.1p1 Debian-4, OpenSSL 1.0.1c 10 May 2012   
debug1: Reading configuration data /etc/ssh/ssh_config   
debug1: /etc/ssh/ssh_config line 19: Applying options for *   
debug1: Connecting to 97.90.101.65 [97.90.101.65] port 22.   
debug1: connect to address x.x.x.x port 22: Connection timed out ssh: connect to host x.x.x.x port 22: Connection timed out

traceroute to x.x.x.x (x.x.x.x), 30 hops max, 60 byte packets  
 1  mynetwork (y.y.y.y)  1.504 ms  1.460 ms  2.167 ms  
 2  * * *  
 3  * * *  
 4  * * *  
 5  * * *  
 6  * * *  
 7  * * *  
 8  * * *  
 9  * * *  
10  * * *  
11  * * *  
12  * * *  
13  * * *  
14  * * *  
15  * * *  
16  * * *  
17  * * *  
18  * * *  
19  * * *  
20  * * *  
21  * * *  
22  * * *  
23  * * *  
24  * * *  
25  * * *  
26  * * *  
27  * * *  
28  * * *  
29  * * *  
30  * * *  

Um número de causas possíveis:

1. seu roteador não sabe como alcançar o IP público
2. o host público não sabe como chegar ao seu host (sem caminho de retorno)
3. o host público tem um firewall que desconecta sua conexão

O que eu não consigo entender é por que você está mencionando VPN se esta máquina tiver um IP público.