Estou fazendo um trabalho distribuído com servidores em nuvem RackSpace e estou usando o bittorrent para distribuir meus arquivos. Funciona surpreendentemente bem. No entanto, distribuir os arquivos torrent em si não é tão bom. Como você sairia por aí fazendo isso? No momento, apenas scp os arquivos torrent para os servidores e, é claro, eu poderia escrever um script que os copie para os sqrt(n)servidores, instruindo cada um a copiar novamente, sqrt(n)mas é uma pena trabalhar nisso.
Respostas:
Não sabendo qual é exatamente o seu problema, posso recomendar pscpdo ssh-paralelo como uma ferramenta para fazer upload de arquivos pequenos em vários servidores.
Você prepara uma lista de servidores para upload e informa sobre o que levar no local e onde colocá-lo remotamente. Por exemplo:
$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1
Dado que eles são arquivos muito pequenos, normalmente você não poderia simplesmente ter uma 'caixa de depósito' usando HTTP com um script cron'ed fazendo um curl / wget com curinga?
Você pode fazer com que os clientes de torrent verifiquem um feed RSS para novos arquivos torrent ou alternem para links magnéticos em vez de arquivos torrent.
Você pode querer investigar um assassinato
Murder é um método de usar o Bittorrent para distribuir arquivos para uma grande quantidade de servidores em um ambiente de produção. Isso permite implantações escalonáveis e rápidas em ambientes de centenas a dezenas de milhares de servidores nos quais os sistemas de distribuição centralizada não funcionariam de outra maneira
.
O assassinato foi / é desenvolvido pelo pessoal do twitter e eles o usam diariamente para distribuir arquivos.