Volume montado de RSync para WebDAV muito lento

11

Eu tenho uma loja WebDAV montada, na qual estou brincando para tentar montar minha própria configuração de pseudo-DropBox. No entanto, parece muito lento o upload de arquivos maiores (meu gráfico de largura de banda fica bom por um tempo e depois pára por longos períodos).

alguem ja tentou isso? Gostaria de saber se o modo como ele é montado faz rsyncpensar que é uma unidade local ou algo assim e, portanto, pode ser mais chato do que seria se soubesse que era uma unidade de rede montada?

Estou sincronizando usando o seguinte comando:

rsync -rv /source/directory/ /mounted/webdav/directory/

Isso está sendo executado usando o MacOS 10.6 e o WebDAV é montado usando o mecanismo de montagem nativo.

— AlexC
fonte

13

Verifique a página de manual para

--size-only porque a maioria das implementações do webdav não aceita o tempo de modificação da configuração
--no-whole-file para dizer ao rsync que está lidando com um sistema de arquivos remoto
--inplace tendo o rsync substituindo arquivos diretamente, em vez de fazer o upload de um arquivo

Aliás, estou usando outra camada encfs para criptografar arquivos no webdav e estou muito feliz com o desempenho.

— ribx
fonte

Como --inplaceajuda? No manual: Essa opção é útil para transferir arquivos grandes com alterações baseadas em bloco ou dados anexados, e também em sistemas vinculados ao disco, não vinculados à rede . Também pode ajudar a impedir que um instantâneo do sistema de arquivos copie na gravação desvie todo o conteúdo de um arquivo que possui apenas pequenas alterações.

— msa7

Meu comando é

sudo mount -t davfs https://webdav.yandex.com/ ~/mnt/yd; rsync -avrc --size-only --no-whole-file /home/msa/xranitel/webdav /home/msa/mnt/webdav

— msa7 11/11

0

Eu tentei isso em um servidor para o qual tenho acesso tanto ao rsync quanto ao WebDAV, apenas para ver a diferença e o método rsync sobre WebDAV era muito mais lento. Deve ser apenas uma coisa de protocolo. Não acho que o rsync seja localmente mais chato do que em uma rede.

— fideli
fonte

0

Tenho certeza de que isso ocorre porque o rsync calcula a soma de verificação para comparar e após a transmissão. Como o arquivo é armazenado remotamente, isso significa que é transferido várias vezes.

Você pode executar o rsync como daemon ou através do ssh para fazer o cálculo no servidor. Ou apenas desative a soma de verificação.

— bdecaf
fonte

0

Eu descobri que a montagem do Mac OSX no webdav não é confiável (10.11.6 El Capitan). Se eu usar rsync, tar, cp ou qualquer outra ferramenta, alguns dos arquivos serão corrompidos. Posso repetir e repetir, mas arquivos diferentes são corrompidos a cada vez. Em seguida, montei a mesma pasta exata do webdav, em uma VM do Windows dentro do mac (mesma rede, mesmo hardware, tudo o mesmo, exceto agora que é uma VM do Windows em vez do Mac OSX) e tudo corre bem.

— Edward Ned Harvey
fonte