como canalizar dados para conexão sftp?

O ftp suporta o put "|..." "remote-file.name"comando para canalizar dados para uma conexão ftp. Existe algo semelhante disponível para o sftp?

No sftp, recebo o seguinte erro:

sftp 'jmw@backupsrv:/uploads'
sftp> put "| tar -cx /storage" "backup-2012-06-19--17-51.tgz"
stat | tar -cv /storage: No such file or directory

Como acima, o cliente sftp obviamente não executa o comando.

Eu quero usar o comando pipe para redirecionar diretamente o fluxo de arquivos para sftp. (porque não há espaço suficiente para criar um arquivo de backup no mesmo disco antes de carregá-lo no servidor sftp.)

Eu me diverti muito tentando descobrir uma solução para esse problema. Requer a ferramenta nc (netcat) em ambas as máquinas e SSH (SFTP não é necessário).

Neste exemplo, chamarei a máquina que possui os dados que precisam fazer backup do linux-a e a máquina que precisa receber o backup linux-b.

No linux-a, faça o netcat escutar uma porta (peguei 2000) e redirecione-a para um arquivo. Isso fica parado e espera até que algo chegue nessa porta.

[kenny@linux-b /var/backups]$ nc -l 2000 > backup.tgz

No linux-b, abra um túnel ssh no linux-a, usei a porta 2000 novamente. Isso redirecionará qualquer coisa que você lançar na porta TCP 2000 no host local para a porta TCP 2000 no linux-a, onde o netcat está escutando.

[kenny@linux-a /var/data]$ ssh -L 2000:localhost:2000 -CfN linux-b

Agora crie o arquivo tar, mas envie a saída para stdout (usando -) e envie-o para o gzip para obter alguma compactação. Agora canalize isso para outro netcat que o envia para o host local no TCP na porta 2000.

[kenny@linux-a /var/data]$ tar cf - important-data | gzip -fc | nc localhost 2000

Foram realizadas! No linux-b, o netcat não está mais ouvindo e um novo arquivo é criado. A melhor parte é que o arquivo tar nunca foi colocado no disco rígido do linux-a.

[kenny@linux-b /var/backups]$ file backup.tgz 
backup.tgz: gzip compressed data, from Unix, last modified: Thu Jul  5 13:48:03 2012

Eu sei que não é exatamente o que você pediu na pergunta, mas se você tem o netcat disponível, é uma solução viável para o seu tipo de problema.

Edit: Eu esqueci uma coisa: se você seguir estas instruções, você ainda terá um túnel SSH flutuando no Linux-a. Descubra qual é o ID do processo e mate-o.

[kenny@linux-a /var/data]$ ps -ef | grep "ssh -L"
kenny     5741     1  0 13:40 ?        00:00:00 ssh -L 2000:localhost:2000 -CfN linux-b
kenny     5940  3360  0 14:13 pts/1    00:00:00 grep --color=auto ssh -L
[kenny@linux-a /var/data]$ kill 5741

Como este é o primeiro resultado que você encontra pesquisando no Google para esta pergunta e ainda não foi mencionado, adicionarei a solução que encontrei aqui:

você pode usar a implementação de cachos sftp para isso. Como o curl provavelmente já está instalado em muitos sistemas, isso pode ser preferido para a solução usando clientes personalizados.

exemplo de uso:

pg_dump -d database | pigz -1 | curl -u username -T - sftp://sftpserver/folder/dbbackup.sql.gz

curlusa seu .ssh/known_hostsarquivo para verificação de chave. Isso pode falhar caso o seu cliente ssh use novos padrões de criptografia não suportados pela biblioteca usada no curl

Para corrigir isso, você pode adicionar os outros tipos de chave ao arquivo hosts conhecido usando o seguinte comando:

ssh-keyscan sftpserver >> ~/.ssh/known_hosts

ou você pode desativar a verificação de chave usando a -kbandeira (embora eu não recomendo isso)

output-stream-generating-command | ssh user@remotehost 'input-stream-accepting-command' é uma opção, se o usuário remoto tiver um shell válido.

voretaq7 apontou que o cliente sftp não suporta transferência de dados canalizados para usuários, que têm permissão para usar sftp apenas para se conectar ao servidor.

felizmente, há libssh2, que suporta sftp. então só precisamos de 2 outros clientes usando libssh2, que chamei:

• sftp_stdin_upload (para carregar em um servidor sftp)
• sftp_stdout_download (para baixar de um servidor sftp)

o código-fonte pode ser encontrado no seguinte URL: http://www.qxs.ch/2012/07/05/sftp-upload-tool/

desde que eu não sou tão experiente em programação libssh2, fico feliz por qualquer feedback sobre o código fonte.