Como usar o AWS S3 CLI para despejar arquivos no stdout no BASH?

Estou iniciando um script bash que pegará um caminho no S3 (conforme especificado para o comando ls ) e despejará o conteúdo de todos os objetos de arquivo em stdout. Essencialmente, gostaria de replicar, cat /path/to/files/*exceto para S3, por exemplo s3cat '/bucket/path/to/files/*'. Minha primeira inclinação ao olhar as opções é usar o cpcomando para um arquivo temporário e depois catisso.

Alguém já tentou isso ou algo semelhante ou já existe um comando que não estou encontrando qual é?

despejar o conteúdo de todos os objetos de arquivo em stdout.

Você pode fazer isso se passar -por destino de aws s3 cpcomando. Por exemplo $ aws s3 cp s3://mybucket/stream.txt -,.

O que você está tentando fazer é algo assim? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Se você estiver usando uma versão do AWS CLI que não suporta a cópia para "-", você também pode usar / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Você também pode querer que o --quietsinalizador evite que uma linha de resumo como a seguinte seja anexada à sua saída:

download: s3: //mybucket/stream.txt para ../../dev/stdout

Você pode tentar usar s3streamcat , ele suporta os formatos bzip, gzip e xz também.

Instale com

sudo pip install s3streamcat

Uso:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Ah ha!

https://pypi.python.org/pypi/s3cat/1.0.8

Estou escrevendo mais caracteres para satisfazer o requisito de comprimento.

Se desejar fazer isso usando o BASH, você terá que chamar um aplicativo externo, como a AWS Command-Line Interface (CLI). Ele não tem um equivalente CAT, então você precisaria copiar o arquivo localmente e então fazer o CAT.

Como alternativa, você pode usar / escrever um aplicativo que chama diretamente o SDK da AWS, que está disponível para linguagens como Python, PHP, Java. Usando o SDK, o conteúdo do arquivo pode ser recuperado na memória e enviado para stdout.