Linux para Linux, transferência de 10 TB?

9

Analisei todas as perguntas semelhantes anteriores, mas as respostas pareciam estar em todo o lado e ninguém movia muitos dados (100 GB é diferente de 10 TB).

Tenho cerca de 10 TB que preciso mover de uma matriz RAID para outra, Ethernet de gigabit, a enciclopédia livre, sistemas de arquivos XFS . Minha maior preocupação é que a transferência morra no meio do caminho e não seja possível retomar com facilidade. A velocidade seria boa, mas garantir a transferência é muito mais importante.

Normalmente, eu apenas tar & netcat, mas a matriz RAID da qual estou mudando tem sido muito esquisita ultimamente, e preciso recuperar e retomar se cair no meio do processo. Devo estar olhando para rsync ?

Examinando isso um pouco mais, acho que o rsync pode ser muito lento e eu gostaria de evitar isso levando 30 dias ou mais. Então agora estou procurando sugestões sobre como monitorar / retomar a transferência com o netcat .

— lostincode
fonte

Às vezes, preciso fazer transferências grandes de arquivos (mas não 10 TB;) O rsync tem muitos sinalizadores, alguns deles podem afetar o desempenho de uma transferência grande de arquivos (acho --checksum e --archive podem atrasá-lo, por exemplo. faria uma grande diferença ao transferir 10 TB.). Alguém pode recomendar boas opções para ajudar a otimizar o desempenho de uma transferência de arquivos tão grande? O ajuste --block-size=SIZEajudaria?

— Stefan Lasiewski

existe alguma maneira de remover a sobrecarga ssh?

— precisa saber é o seguinte

1

configurar o rsyncd no seu lado receptor? Não é necessário ssh

— cpbills

3

Execute um daemon rsync no lado de recebimento e o cliente no lado de envio.

— Pausado até novo aviso.

2

Se você não puder configurar um daemon rsync de um lado e estiver com o SSH, poderá reduzir a sobrecarga de criptografia com menos criptografia boa como: rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

sim, rsync

fora do oddball, os recursos assíncronos DRBD foram lançados recentemente.

— cagenut
fonte

1

+1 para Rsync. Rei das transferências de sistema para sistema no linux.

— grufftech

+1, rsync (e sua contraparte DeltaCopy do Windows) são o fim de toda a duplicação eficiente de arquivos genéricos de servidor para servidor.

— Chris S

1

+1 para rsync, mas eu acrescentaria que pode ser mais rápido fazê-lo "localmente" em uma montagem NFS em vez de incorrer na sobrecarga do protocolo rsync ou SSH.

— James Sneeringer

2

Nunca subestime a largura de banda de uma caminhonete cheia de fitas. 10 TB seria viável com equipamento NAS de nível de consumidor relativamente barato se você puder dividi-lo em (digamos 2 TB). Se esse é um caso único, um processo semi-manual pode ser viável e um NAS de 2 TB custa apenas algumas centenas de dólares.

Se você precisar de um processo contínuo, poderá configurar o RSYNC depois de fazer a transferência inicial.

— ConcernedOfTunbridgeWells
fonte

A pergunta original mencionou que isso já está em uma rede local.

— Ladadadada

1

O que parece ser muito lento e / ou não confiável para os propósitos do OP.

— ConcernedOfTunbridgeWells

2

Eu tive que fazer esse tipo de tarefa há alguns meses atrás. Eu usei o rsync paralelo para acelerar o processo. Ele dividiu os arquivos a serem transferidos / sincronizados em partes e pode ser retomado a qualquer momento. Veja o link abaixo para o script rsync paralelo.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
fonte

0

Você pode tentar configurar um servidor FTP no servidor com os dados a serem copiados e usar um cliente FTP com "retomar" na extremidade de recebimento. Eu uso o servidor e cliente Filezilla e o recurso "resume" do cliente com bastante frequência e sempre funcionou sem problemas.

— jamesbtate
fonte