Duplicação mais rápida de balde s3

Tenho tentado encontrar uma ferramenta de linha de comando melhor para duplicar baldes do que s3cmd . s3cmdpode duplicar baldes sem ter que baixar e carregar cada arquivo. O comando que normalmente executo para duplicar intervalos usando s3cmd é:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

Isso funciona, mas é muito lento, pois copia cada arquivo por meio da API, um de cada vez. Se s3cmdpudesse rodar em modo paralelo, ficaria muito feliz.

Existem outras opções disponíveis como ferramentas de linha de comando ou código que as pessoas usam para duplicar depósitos mais rápidos do que s3cmd?

Edit: Parece que s3cmd-modify é exatamente o que estou procurando. Pena que não funciona. Existem outras opções?

O AWS CLI parece fazer o trabalho perfeitamente e tem a vantagem de ser uma ferramenta com suporte oficial.

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Suporta transferências simultâneas por padrão. Consulte http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

Para transferir rapidamente um grande número de arquivos pequenos, execute o script de uma instância EC2 para diminuir a latência e aumente max_concurrent_requestspara reduzir o impacto da latência. Por exemplo:

aws configure set default.s3.max_concurrent_requests 200

Se você não se importa em usar o console AWS, pode:

1. Selecione todos os arquivos / pastas no primeiro intervalo
2. Clique em Ações> Copiar
3. Crie um novo intervalo e selecione-o
4. Clique em Ações> Colar

Ainda é bastante lento, mas você pode deixá-lo sozinho e deixá-lo fazer seu trabalho.

Tentei clonar dois baldes usando o console da web da AWS, o s3cmde o AWS CLI. Embora esses métodos funcionem na maioria das vezes, eles são dolorosamente lentos.

Então eu descobri s3s3mirror: uma ferramenta especializada para sincronizar dois buckets S3. É multi-threaded e muito mais rápido do que as outras abordagens que experimentei. Mudei rapidamente Giga-bytes de dados de uma região da AWS para outra.

Confira em https://github.com/cobbzilla/s3s3mirror ou baixe um contêiner Docker em https://registry.hub.docker.com/u/pmoust/s3s3mirror/

Para solução ad hoc, use aws clipara sincronizar entre os intervalos:

aws s3 synca velocidade depende de:
- latência para uma chamada API para o endpoint S3
- quantidade de chamadas API feitas em simultâneo

Para aumentar a velocidade de sincronização:
- execute a aws s3 syncpartir de uma instância AWS (c3.large no FreeBSD está OK ;-))
- atualize ~ / .aws / config com:
- max_concurrent_requests = 128
-max_queue_size = 8096

com a seguinte configuração e tipo de instância, consegui sincronizar o intervalo (309 GB, 72K arquivos, us-east-1) em 474 segundos.

Para uma solução mais genérica, considere - AWS DataPipeLine ou replicação entre regiões S3.

Como se trata do primeiro acerto do Google neste assunto, adicionando informações extras.

'Cyno' fez uma versão mais recente de s3cmd-modify, que agora suporta sincronização paralela de bloco para bloco. Exatamente o que eu estava esperando também.

A solicitação pull está em https://github.com/pcorliss/s3cmd-modification/pull/2 , a versão dele em https://github.com/pearltrees/s3cmd-modification

Não conheço nenhuma outra ferramenta de linha de comando S3, mas se nada aparecer aqui, pode ser mais fácil escrever a sua própria.

Escolha o idioma e o Amazon SDK / Toolkit de sua preferência. Então você só precisa listar / recuperar o conteúdo do intervalo de origem e copiar cada arquivo (em paralelo, obviamente)

Olhando para o código - fonte para s3cmd-modify (e eu admito que não sei nada sobre python), parece que eles não paralelizaram o código bucket-to-bucket, mas talvez você possa usar o código paralelo de upload / download padrão como ponto de partida para faça isso.

um simples aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursivefunciona bem (supondo que você tenha uma configuração de aws cli)