Sincronização de arquivos multiencadeada entre 2 servidores Linux

9

No momento, estou executando o rsync para 2,2 milhões de arquivos, totalizando 250 GB, e isso leva apenas 700 mil arquivos em 6 horas.

Alguém conhece um rsync como ferramenta que pode fazer isso com vários threads, para que seja mais rápido?

linux  rsync 
— Tom van Ommen
fonte
3
Você tem algum motivo para supor que é ligado à CPU de alguma forma?
— Chopper3
Quais opções de rsync você está usando?
— Kyle Smith
Você está usando ssh como transporte?
— JimB
rsync -avSPp E não há problemas de CPU nem de disco.
— Tom van Ommen
E nenhum transporte SSH apenas viu algo na web não saber se é mais rápido. Já leva séculos para indexar todos os arquivos.
— Tom van Ommen

Respostas:

7

Duvido que a CPU seja o fator limitante aqui. Você provavelmente está limitado pela largura de banda da rede para a transferência e pelas E / S do disco; especialmente latência para todas essas chamadas de estatísticas.

Você pode dividir a hierarquia do sistema de arquivos em pedaços menores para processar em paralelo?

Quais são os arquivos de origem e o que os está escrevendo ou modificando? Seria possível enviar alterações conforme elas ocorrem no nível do aplicativo?

— JimB
fonte
Sincronizando arquivos de anexo do Zarafa, todos compactados por padrão. Eu poderia executar várias instâncias, mas isso é menos eficiente do que 10 threads. E a rede é de 1 GB a 1 GB, mas datacenters diferentes, mas não deve ser um problema. obteve 24 discos SAS no lado da fonte e armazenamento inteligente com SSD no destino.
— Tom van Ommen
1
@ Tom van Ommen - por que você acha que está com CPU limitada? Como vários processos são menos eficientes que os threads, se você realmente tem CPU limitada?
— JimB
1
@ Tom van Ommen, 10 processos têm mais sobrecarga do que 10 threads; no entanto, bloquear estruturas de dados entre threads é um pesadelo de codificação. Muitas vezes é muito mais eficiente (para o tempo do codificador) para apenas gerar vários processos e ser feito com ele
— Mike Pennington
1
@Guacamole - vários threads podem ajudar em algumas situações, mas se o link estiver saturado, ele não fará mais push, não importa quantos threads ele tenha. O Rsync usa threads para simultaneidade e não está bloqueando internamente o IO.
— JimB
1
@Guacamole - Tudo o que estou apontando é que, se ele estiver usando ssh como transporte, seu rendimento será limitado pelo próprio ssh (especificamente a janela de recebimento estático, a menos que esteja usando os patches ssh da HPN).
— JimB
1

Se o subsistema de disco do servidor de recebimento for uma matriz com vários discos, a execução de vários processos rsync poderá melhorar o desempenho. Estou executando 3 processos rsync para copiar arquivos para um servidor NFS (RAID6 com 6 discos por grupo de ataques) para saturar a Ethernet Gigabit.

Esse cara relata um chicote básico de python que gera vários processos rsync http://www.reliam.com/company/featured_geek

— sinysee
fonte
Infelizmente, o link está morto. Você poderia encontrá-lo novamente?
— P.Péter 27/09/18
1

Eu li muitas perguntas semelhantes a isso. Eu acho que a única resposta real é quebrar a cópia / mover manualmente. IOps será o problema aqui. Se você se sentir melhor, estou no processo de mover ~ 200 milhões de arquivos consumindo bem mais de 100 TB de espaço em disco.

— Wayne
fonte
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.