Parece relacionado a este , mas é um pouco diferente.
Há esse link WAN entre dois sites da empresa e precisamos transferir um único arquivo muito grande (despejo do Oracle, ~ 160 GB).
Temos largura de banda total de 100 Mbps (testada), mas parece que uma única conexão TCP não pode ser maximizada devido a como o TCP funciona (ACKs, etc.). Testamos o link com o iperf , e os resultados mudam drasticamente ao aumentar o tamanho da janela TCP: com as configurações básicas, obtemos uma taxa de transferência de ~ 5 Mbps, com um WS maior podemos obter até 45 Mbps, mas não mais do que isso. A latência da rede é de cerca de 10 ms.
Por curiosidade, rodamos o iperf usando mais de uma conexão única e descobrimos que, ao executar quatro delas, elas realmente alcançariam uma velocidade de ~ 25 Mbps cada, preenchendo toda a largura de banda disponível; portanto, a chave parece estar na execução de várias transferências simultâneas.
Com o FTP, as coisas pioram: mesmo com configurações TCP otimizadas (tamanho da janela alto, MTU máx. Etc.), não podemos obter mais de 20 Mbps em uma única transferência. Tentamos fazer o FTP de alguns arquivos grandes ao mesmo tempo e, de fato, as coisas ficaram muito melhores do que ao transferir um único; mas o culpado se tornou a E / S do disco, porque a leitura e gravação de quatro arquivos grandes dos mesmos gargalos do disco muito em breve; Além disso, parece que não conseguimos dividir esse único arquivo grande em arquivos menores e, em seguida, mesclá-lo novamente, pelo menos em horários aceitáveis (obviamente, não podemos gastar splicing / mesclando o arquivo em um tempo comparável ao de transferência).
A solução ideal aqui seria uma ferramenta multithread que pudesse transferir vários pedaços do arquivo ao mesmo tempo; programas semelhantes ao eMule ou BitTorrent já fazem, mas de uma única fonte para um único destino. Idealmente, a ferramenta nos permitiria escolher quantas conexões paralelas usar e, é claro, otimizar a E / S do disco para não pular (muito) loucamente entre várias seções do arquivo.
Alguém conhece essa ferramenta?
Ou alguém pode sugerir uma solução melhor e / ou algo que já não tentamos?
PS: Já pensamos em fazer o backup em fita / disco e enviá-lo fisicamente ao destino; essa seria nossa medida extrema se a WAN simplesmente não resolver, mas, como AS Tanenbaum disse: "Nunca subestime a largura de banda de uma caminhonete cheia de fitas rolando pela estrada".