Copie a estrutura de diretórios intacta para o bucket do AWS S3

Desejo usar o AWS S3 CLI para copiar uma estrutura de diretório completa para um bucket do S3.

Até agora, tudo o que tentei copia os arquivos para o bucket, mas a estrutura de diretórios está recolhida. (para dizer de outra maneira, cada arquivo é copiado no diretório raiz do bucket)

O comando que eu uso é:

aws s3 cp --recursive ./logdata/ s3://bucketname/

Eu também tentei deixar de fora a barra à direita na minha designação de origem (ou seja, a cópia do argumento). Também usei um curinga para designar todos os arquivos ... cada coisa que tento simplesmente copia os arquivos de log no diretório raiz do bucket.

Acredito que a sincronização é o método que você deseja. Tente isso:

aws s3 sync ./logdata s3://bucketname/

Eu havia enfrentado esse erro ao usar um desses comandos.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

Eu até pensei em montar o bucket S3 localmente e depois executar o rsync, mesmo que tenha falhado (ou travado por algumas horas), pois tenho milhares de arquivos.

Finalmente, o s3cmd funcionou como um encanto.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Isso não apenas funciona bem e mostra uma saída bastante detalhada no console, mas também carrega arquivos grandes em partes.

O seguinte funcionou para mim:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

A AWS "cria" this_directorye copia todo o conteúdo local para ele.

Use o seguinte script para copiar a estrutura de pastas:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Não consegui obter s3 syncou s3 cptrabalhar em uma pasta de 55 GB com milhares de arquivos e mais de duas dúzias de subdiretórios. Tentar sincronizar a pasta inteira causaria uma falha silenciosa do awscli sem fazer upload de nada para o bucket.

Acabamos fazendo isso para sincronizar primeiro todos os subdiretórios e seu conteúdo (a estrutura da pasta é preservada):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Fiz isso para obter os 30.000 arquivos no nível superior:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Observe a carga no servidor (protip que você pode usar wpara apenas mostrar a carga) e ctrl-zsuspenda o comando se a carga ficar muito alta. ( fgpara continuar novamente).

Colocar isso aqui, caso ajude alguém em uma situação semelhante.

Notas:

-mindepth 1 exclui .

-maxdepth 1impede a localização de listar o conteúdo dos subdiretórios, pois s3 synctrata-os com êxito.

cut -c 3- remove o "./" do início de cada resultado da localização.

Como alternativa, você também pode tentar o minio client aka mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Espero que ajude.

PS: Eu sou um dos colaboradores do projeto.

(Melhorando a solução de Shishir )

• Salve o seguinte script em um arquivo (eu o nomeei s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Execute-o da seguinte maneira:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Por exemplo, se s3Copy.shestiver armazenado no diretório inicial e desejar copiar todos os arquivos e diretórios localizados no diretório atual, execute o seguinte procedimento:
  ~/s3Copy.sh . s3://XXX/myBucket

Você pode facilmente modificar o script para permitir a outros argumentos s3 cp, tais como --include, --exclude...