O SSH é muito mais tolerante com dispositivos de segurança de rede, como firewalls e coisas que fazem NAT. O FTP é famoso por ser complicado de firewall e geralmente requer que um ponto final tenha um endereço IP real (ou seja, sem NAT).
O SSH é melhor no tratamento de NAT. De fato, ambas as extremidades podem estar atrás do NAT, o que geralmente não é possível sem muita alavanca no FTP.
O FTP geralmente é mais rápido devido à natureza simples do protocolo, embora as versões corretas do SFTP possam se aproximar desse nível de velocidade.
O suporte ao FTP é incorporado aos navegadores mais modernos, onde nenhum que eu conheço possui SSH. No entanto, pode haver plugins que evitam isso.
O SSH é muito mais seguro, o que permite a autenticação do usuário. O FTP suporta isso, mas o faz com texto sem formatação, um fato que contradiz as políticas de segurança mais sãs.
O único motivo para usar o FTP é o compartilhamento de arquivos públicos. Coisas como repositórios de fontes do kernel do linux.