Transferir 10 TB de arquivos dos EUA para o datacenter do Reino Unido

Estou migrando meu servidor dos EUA para o Reino Unido de um data center para outro. Meu anfitrião disse que eu deveria conseguir 11 megabytes por segundo.

O sistema operacional é o Windows Server 2008 nas duas extremidades.

Meu tamanho médio de arquivo é de cerca de 100 MB e os dados são divididos em cinco unidades de 2 TB.

Qual seria a maneira recomendada de transferir esses arquivos?

• FTP
• SMB
• Rsync / Robocopy
• De outros?

Não estou muito preocupado com a segurança, pois esses são arquivos públicos, mas quero apenas uma solução que possa aumentar a taxa de transferência de 11 MB / s para minimizar o tempo total de transferência.

Envie discos rígidos através do oceano.

A 11 Mbps com plena utilização, você espera apenas 90 dias para transferir 10 TB.

11 Mbps = 1.375 MBps = 116.015 GB / dia .

10240 GB / 116,015 GB / dia = ~ 88,3 dias .

Eu diria que rsync, com 11 MB / s, você analisará 10 a 14 dias e, mesmo que seja interrompido, o rsync começará facilmente onde parou da última vez.

A 11 Mbps eu enviava os discos rígidos como sugerido acima :)

Rsync, é claro.

Pelo menos você pode continuar a qualquer momento após um intervalo, e sem dor.

Nunca subestime a largura de banda de uma caminhonete cheia de fitas

- Trad.

No seu caso, discos ou fitas enviados pelo correio, mas o princípio ainda se aplica. Se você não está preocupado com a latência, isso será muito mais barato que a largura de banda da rede para transferir 10 TB de dados em um período de tempo razoável.

Você deve usar o rsync. Ele comprimirá os dados e os duplicará antes de enviá - los. Também pode retomar transferências parciais, o que é muito importante para grandes transferências.

É provável que não transfira 10 TB; se for logs e texto e tal, pode ter menos de 1 TB; talvez bem abaixo de 1 TB.

Existem ferramentas que fazem um trabalho de compactação melhor que o rsync e provavelmente encontram mais correspondências. Você poderia usar lrzip, etc.

Existem tipos específicos de dados que não compactam bem e não contêm dupes literais - vídeos e outras mídias, por exemplo. Nesses casos, o FTP e o rsync estão fazendo o mesmo esforço.

Sei que isso já foi aceito, mas você já pensou em levar seus discos para um data center / provedor / host em que possa obter mais largura de banda? Provavelmente custará algum dinheiro, mas copiar 10240Gb para discos de backup e enviar também custará tempo e dinheiro (2 x dinheiro).

Você também garantirá que seus discos não quebrem no transporte.

11Mbps? Essa é uma limitação que você tem aqui. Na sua situação, eu simplesmente:

• Clonar os dados
• Comprima
• Alugue servidores nas duas extremidades com pelo menos 10 vezes mais largura de banda (nos mesmos datacenters ou no final, em um datacenter próximo a você).
• Transferir os arquivos
• Aplique os dados ao novo servidor.

Se você realmente não tem uma solução para aumentar a largura de banda ... O envio de uma unidade física será muito mais rápido.

Pela minha experiência dolorosa, os discos rígidos tendem a aparecer no correio ... os drives flash USB são uma solução muito melhor para transferências frequentes de dados. No seu caso, seriam necessários alguns deles :) Portanto, envie 2 cópias dos seus dados em vários discos rígidos.

Considerando a quantidade de dados que você possui, você também pode enviar unidades de uma matriz RAID 5 ou RAID 6 se tiver o mesmo hardware / software do outro lado para conectar suas unidades. Mas, nesse caso, lembre-se de marcar a ordem das suas unidades e seus números de série; portanto, ao reconfigurar, eles não se confundem.

Embora eu tenha que concordar com a resposta "enviar usando discos rígidos", neste caso, aqui uma solução de cópia que eu uso quando preciso copiar grandes quantidades de arquivos pela primeira vez:

Embora rsyncseja bom manter dois armazenamentos de dados sincronizados, ele introduz uma sobrecarga desnecessária na transferência inicial. Achei que o caminho mais rápido é o tarque é direcionado netcat. No site receptor você também pode usar netcatem ouvir modo que canaliza os dados de entrada para uma extração tar. O benefício é que tarcomeça o envio imediato e o netcatenvia como fluxo TCP simples, sem sobrecarga de protocolo de nível superior. Isso deve ser o mais rápido possível. No entanto, não é simples possível reiniciar uma transferência interrompida na última posição.

Também é fácil compactar os dados para a transferência usando as taropções corretas ou adicionar uma ferramenta de compressão nos tubos. Observe que netcatenvia a data não criptografada. Nos casos em que isso não é uma opção, uma sshconexão criptografada pode ser usada ( tar <options> | ssh <target> -c 'tar -x <options>').

Se todos os dados forem transferidos, rsyncpoderá ser usado para garantir que todos os arquivos que foram atualizados nesse meio tempo sejam sincronizados. Além disso, o IIRC tarnão cria soquetes que serão perdidos de outra forma, mas eles não são realmente usados ​​para dados do datacenter.

Você já considerou IPoAC ?

Um único pombo pode ser capaz de transportar dezenas de gigabytes de dados em cerca de uma hora, o que, em termos de largura de banda média, se compara muito favoravelmente aos padrões atuais de ADSL, mesmo quando contabiliza unidades perdidas.

Novamente, a primeira sugestão é enviar as unidades.

A segunda sugestão é usar o rsync para o rsyncd, não sobre o SSH. Eu tentei muitas coisas e geralmente é o mais rápido. Lembre-se de ativar a compactação. Além disso, observe como aumentar ou diminuir o tamanho do buffer rsync para obter a taxa de transferência ideal. Também pode ajudar a aumentar o tamanho da MTU . Isso só ajuda se os roteadores em rota não fragmentarem seus pacotes. Existem maneiras de determinar se o fazem.

Infelizmente, não existe uma configuração que seja sempre a melhor. Você precisará experimentar para descobrir o que funciona melhor em sua situação.

Você mencionou que os servidores estão executando o Windows 2008. O Microsoft DFS seria adequado? Há alguma mágica na extremidade inferior que tenta obter o máximo possível de largura de banda da conexão e também possui compactação e desduplicação (IIRC).

Lembre-se, discos rígidos, DVDs ou BluRays seriam mais rápidos ... Meu cálculo é de 11 dias no total de 11 MB / s ...

Você pode usar um torrent para isso.

Crie um torrent privado em uma extremidade e use o cliente na outra.

Embora exista criptografia, você deve verificar seus requisitos.