Baixando pastas do aws s3, cp ou sync?

105

Se eu quiser baixar todo o conteúdo de um diretório do S3 para o meu PC local, qual comando devo usar cp ou sync?

Qualquer ajuda seria muito apreciada.

Por exemplo,

se eu quiser baixar todo o conteúdo "desta pasta" para a minha área de trabalho, será que fica assim?

 aws s3 sync s3://"myBucket"/"this folder" C:\\Users\Desktop

windows amazon-web-services amazon-s3

— BFlint
fonte

183

Usar a aws s3 cppartir da AWS Command-Line Interface (CLI) exigirá o --recursiveparâmetro para copiar vários arquivos.

aws s3 cp s3://myBucket/dir localdir --recursive

O aws s3 synccomando irá, por padrão, copiar um diretório inteiro. Ele apenas copiará arquivos novos / modificados.

aws s3 sync s3://mybucket/dir localdir

Apenas experimente para obter o resultado desejado.

Documentação:

— John Rotenstein
fonte

3

Levei alguns minutos para descobrir onde conseguir o aws cli. Aqui está: aws.amazon.com/cli

— Bjørn Stenfeldt

@dnafication Por favor, crie uma nova pergunta ao invés de fazer uma pergunta em um comentário sobre uma pergunta antiga.

— John Rotenstein,

aws s3 cp s3://myBucket/dir localdir --recursive. Isso funciona como um encanto. Se o sinalizador --recursive for ignorado, ele gerará um erro bastante inútil:fatal error: An error occurred (404) when calling the HeadObject operation: Key "myBucket" does not exist

— Siddhartha

Mas se o arquivo compactado for de tamanho grande em GBs, qual seria a recomendação?

— Kanagavelu Sugumar

@KanagaveluSugumar Por favor, crie uma nova pergunta em vez de fazer um comentário sobre uma pergunta antiga.

— John Rotenstein

3

Caso necessite utilizar outro perfil, principalmente conta cruzada. você precisa adicionar o perfil no arquivo de configuração

[profile profileName]
region = us-east-1
role_arn = arn:aws:iam::XXX:role/XXXX
source_profile = default

e então se você estiver acessando apenas um único arquivo

aws s3 cp s3://crossAccountBucket/dir localdir --profile profileName

— myPavi
fonte

1

Caso queira fazer download de um único arquivo, você pode tentar o seguinte comando:

aws s3 cp s3://bucket/filename /path/to/dest/folder

— gCoh
fonte

0

Acabei de usar a versão 2 do AWS CLI. Para a opção s3, há também uma opção --dryrun agora para mostrar o que vai acontecer:

aws s3 --dryrun cp s3://bucket/filename /path/to/dest/folder --recursive

— Marc Duby
fonte