Como corrigir o erro awscli s3 “O conteúdo-MD5 que você especificou não corresponde ao que recebemos” (BadDigest)?


0

O upload de um arquivo com mais de 10 GB para s3 falha com:

aws s3 cp 'foo.log.gz' s3://mybucket/2018/12/ --storage-class REDUCED_REDUNDANCY
upload failed: ./foo.log.gz to s3://mybucket/2018/12/foo.log.gz 

An error occurred (BadDigest) when calling the UploadPart operation (reached max retries: 4): The Content-MD5 you specified did not match what we received.

Como contornar esse erro?

Respostas:


0

Isso funcionou em parte: md5 está errado é deve usar sha256, definindo isso ajuda:

aws configure set default payload_signing_enabled = true

A segunda
questão da solução mais aprofundada está relacionada a: http://tracker.ceph.com/issues/20447

Ainda mais profundo: https://github.com/ceph/ceph/pull/15965/files

TLDR
Algumas regiões usam APENAS "assinaturas v4" (assim como eu-central-1) existe um bug na assinatura do sha2 no awscli.

O problema só afeta os uploads em várias partes. Se o tamanho mínimo de lixo eletrônico for maior que o arquivo, o erro em parte cantando não é fatal:

aws configure set  multipart_chunksize = 20GB
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.