Você tem um servidor SSH neste sistema? Se sim, você pode usá-lo para se conectar ao seu sistema usando o protocolo sftp, que é basicamente comandos de FTP sobre SSH. E não há necessidade de outro banco de dados do usuário, apenas reutilize o que você usa para SSH. Como um cliente SFTP, eu gosto do filezilla.
Caso contrário, o vsftpd (um excelente servidor FTP) pode ser configurado para ativar o FTP sobre SSL. Você precisará de um certificado autoassinado e alterará alguns parâmetros no vsftpd.conf (como ssl_enable = YES).
Além disso, se você souber que se conectará a este servidor FTP a partir de apenas um endereço IP, poderá adicionar uma regra de firewall (iptables / netfilter) para permitir conexões somente deste IP.