scp e compactar ao mesmo tempo, sem salvar intermediários


64

Qual é a maneira canônica de:

  • scp um arquivo para um local remoto
  • compactar o arquivo em trânsito ( tarou não, arquivo único ou pasta inteira 7zaou algo mais ainda mais eficiente)
  • faça o acima sem salvar arquivos intermediários

Eu estou familiarizado com tubos de casca como este:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

essencialmente:

  • rolando uma pasta inteira em uma única tar
  • passar dados stdoutpara stdino programa de compactação
  • aplicar compressão agressiva

Qual é a melhor maneira de fazer isso em um sshlink, com o desembarque de arquivos no sistema de arquivos remoto?


Eu prefiro não sshfsmontar.


Isso não funciona:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

Porque:

/dev/fd/63: not a regular file

Respostas:


103

Existem muitas maneiras de fazer o que você deseja. O mais simples é usar um pìpe:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

Aqui, a compressão está sendo manipulada por tarquais chamadas gzip( zsinalizador). Você também pode usar compress( Z) e bzip( j). Para 7z, faça o seguinte:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

A melhor maneira, no entanto, é provavelmente rsync.

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsynctem forma muitas opções. Realmente vale a pena ler através deles, mas eles são assustadores à primeira vista. Os que você mais gosta nesse contexto são:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

Então, no seu caso, você gostaria de algo assim:

rsync -z MyBackups user@server:/path/to/backup/

Os arquivos seriam compactados durante o transporte e chegariam descompactados no destino.


Mais algumas opções:

  • scp em si pode comprimir os dados

     -C      Compression enable.  Passes the -C flag to ssh(1) to
             enable compression.
    
    $ scp -C source user@server:/path/to/backup
    
  • Pode haver uma maneira de obter rsynce 7zajogar bem, mas não faz sentido fazê-lo. A vantagem rsyncé que ele copiará apenas os bits que foram alterados entre os arquivos local e remoto. No entanto, uma pequena alteração local pode resultar em um arquivo compactado muito diferente, portanto, não há sentido em usá rsync-lo. Isso apenas complica as coisas sem nenhum benefício. Basta usar direto sshcomo mostrado acima. Se você realmente quiser fazer isso, tente fornecer um subshell como argumento rsync. No meu sistema, não consegui fazer isso funcionar 7zaporque não permite gravar dados compactados em um terminal. Talvez sua implementação seja diferente. Tente algo como ( isso não funciona para mim ):

    rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
      user@server:/path/to/backup
    
  • Outro ponto é que 7z não deve ser usado para backups no Linux . Conforme indicado na 7zpágina de manual:

    NÃO USE o formato 7-zip para fins de backup no Linux / Unix porque:
    - 7-zip não armazena o proprietário / grupo do arquivo.


3
Uma boa observação a acrescentar é que, a menos que você esteja transferindo através de uma rede geralmente lenta, digamos na Internet, é melhor evitar a compactação, pois isso diminui a velocidade da transferência. Em uma LAN, -zé pelo menos duas vezes mais lento. Para ainda mais velocidade do que rsyncing sobre ssh, configurar uma daemon rsync e rsync usando -Wflag (copia arquivos inteiro (w / o algoritmo delta-xfer).
laebshade

2
Obrigado! Eu vou aceitar essa ótima resposta, mas, por favor, adicione uma linha de comando completa e independente que use ambos rsync e 7za , com saída final para o sistema de arquivos remoto. Eu gostei, -zmas gostaria de desacoplar o estágio de compressão, então .. como eu usaria rsyncnesse caso, por favor?
Robottinosino 30/03

2
@Robottinosino ver resposta atualizada. Não faz sentido usar rsynccom 7z. Ele deve funcionar com o rsync e um subshel, como mostrado, mas não consegui descobrir como.
terdon

4
+1 para scp -C. Não havia espaço suficiente no disco remoto para armazenar o arquivo compactado, então não pude comprimir antes da transferência. Uma pequena opção de linha de comando fez meu problema desaparecer.
user37931

11
O @knutole apenas fecha o arquivo primeiro e depois o sincroniza novamente. Faça uma nova pergunta se precisar de mais detalhes.
terdon

13

Eu acho que esse comando fará o truque

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

EDIT: uma versão anterior estava com duas opções "f" erradas.

Agora, primeiro você precisa executar este comando a partir do host de destino. E detalhes a serem explicados:

  1. O ssh user @ host abrirá a conexão com a máquina host, de onde os dados serão transferidos.
  2. cd / path / to / data irá para o diretório em que os dados necessários estão armazenados
  3. O tar zc * iniciará a compactação e o colocará no STDOUT
  4. Agora o pipe (|) fará o pipeline do STDOUT da origem para o STDIN do destino em que "tar zx" está em execução e o fluxo de dados de descompactação é continuamente proveniente da origem.

Como você pode ver, este comando compacta on-the-fly e economiza largura de banda. Você também pode usar outras compressões para obter melhores resultados, mas lembre-se de que a compressão e descompressão precisam de ciclos de CPU.

Referência


tar: A opção antiga 'f' requer um argumento.
Dimitri Kopriwa

7

Pequena melhoria para a resposta do dkbhadeshiya : você não precisa fazer cd dir, basta especificar o diretório de trabalho para tar:

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

Você também pode fazer upload do diretório da mesma maneira:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.