Estou com problemas para entender minha conta grande do S3 e achei que pediria aqui antes de gastar US $ 30 no suporte mensal da AWS.

Basicamente, eu tenho uma instância do Amazon EC2 que cria uma API para diferentes trocas de criptomoedas e salva as respostas na instância HD. As chamadas são feitas a cada 5 minutos, os objetos de resposta têm cerca de 100 kb, são lidos por um script R e adicionados a um arquivo CSV a cada ~ 8 minutos. Esse arquivo CSV é sincronizado com um bucket do Amazon S3 a cada 15 minutos.

Os arquivos CSV geralmente têm 10 MB ou mais, por cerca de 15 criptomoedas, a cada 15 minutos. Portanto, procurando no bucket do Amazon S3, pode haver 0,5 GB de espaço usado no máximo.

No entanto, o 'TimedStorage-ByteHours' tem cerca de 4 TB!

Amazon Simple Storage Service TimedStorage-ByteHrs $ 89,55

US $ 0,000 por GB - armazenamento no nível gratuito global mensal5 GB - Mo US $ 0,00

US $ 0,023 por GB - primeiros 50 TB / mês de armazenamento usado 3.893.399 GB - Mo US $ 89,55

Alguma ideia?

Provavelmente, você tem o S3 Versioning ativado - isso significa que objetos antigos, quando substituídos por uma versão mais recente, não são excluídos, mas ficam ocultos no histórico. Para verificar, vá para Bucket -> Properties -> Versioning .

Você também pode visualizar as versões antigas no navegador, como nesta captura de tela. Eu tenho várias versões do 108c05...jsonarquivo:

Se você tem o controle de versão ativado, mas não deseja, pode suspender o controle de versão, mas esteja ciente de que ele não excluirá as versões antigas, você precisará:

• use AWS-CLI e alguns scripts (comece com aws s3api list-object-versions)
• configure a Política de ciclo de vida do balde para expirar as versões antigas. Isso é feito através da regra S3 -> bucket -> Gerenciamento -> Ciclo de vida -> Adicionar ciclo de vida e, na tela Expiração , preencha estes detalhes:

Espero que ajude :)

O armazenamento com acesso não frequente tem uma cobrança mínima de 30 dias por item

1. Acesse https://s3.console.aws.amazon.com e obtenha a lista de arquivos de um de seus buckets.
2. Observe que cada arquivo no bucket possui uma classe de armazenamento. A escolha da classe de armazenamento está sob seu controle e afeta os custos.

Standardé o mais caro, então algumas pessoas usam infrequent accessuma taxa mensal mais baixa (~ 50% de desconto) por GB armazenada de acordo com a tabela de preços. MAS, o Infrequent também possui uma taxa de recuperação de US $ 0,01 / GB, portanto, economiza apenas o custo total dos arquivos armazenados por pelo menos um mês e recuperados menos de uma vez por mês. Além disso, pode haver uma política de ciclo de vida no seu bucket que altera a classe de armazenamento de arquivos ao longo do tempo, o que pode afetar quando o período mínimo de armazenamento de 30 dias é iniciado.

Nas letras miúdas, infrequent accesshá uma cobrança mínima de 30 dias para cada item armazenado.

Fonte: https://aws.amazon.com/s3/pricing/

Primeira nota de rodapé, marcada com †

† O armazenamento com acesso padrão infrequente do S3 e o armazenamento com acesso infrequente do S3 One Zone têm um tamanho mínimo de objeto faturável de 128 KB. Objetos menores podem ser armazenados, mas serão cobrados por 128 KB de armazenamento. O acesso infrequente padrão S3 e o armazenamento de acesso infrequente S3 One Zone são cobrados por uma duração mínima de armazenamento de 30 dias. Os objetos que são excluídos, substituídos ou transferidos para uma classe de armazenamento diferente antes de 30 dias incorrerão na taxa de uso normal mais uma taxa de solicitação proporcional pelo restante do período mínimo de 30 dias. Os objetos armazenados por 30 dias ou mais não terão um custo mínimo de solicitação de 30 dias

O que é caro no Amazon S3 e no Google Cloud Storage também são as tarifas de rede se os dados forem enviados para a Internet pública em vez de mantidos na nuvem da empresa. A taxa de rede para recuperação uma vez pode facilmente exceder a taxa de armazenamento por 3-4 meses. US $ 0,09 / GB (outubro de 2018) para o AWS S3 , US $ 0,12 / GB para o Google Cloud Storage , menor nível de uso.

O Digital Ocean possui uma camada de armazenamento compatível com S3 chamada "Spaces" que vale a pena conferir. Alguns bugs foram relatados e podem ser limitados de algumas maneiras, mas o preço geral parece interessante e pode ser "bom o suficiente" para alguns usos.