Melhorias no desempenho do S3fs ou alternativa?

11

Eu tenho tentado usar s3fs em um servidor EC2, mas é muito lento. Passei as últimas 5 horas carregando 100 MB de arquivos pequenos.

Existe algo que eu possa fazer para melhorar o desempenho ou algo relacionado ao S3fs? Caso contrário, qual alternativa eu poderia usar?

amazon-ec2 s3fs

— MB.
fonte

definir arquivos pequenos, 1K? 500 bytes? 1MB?

— #

cerca de ~ 200K ...

— MB.

Dependendo das necessidades de armazenamento, convém usar o EBS, a menos que precise acessar de outros sistemas simultaneamente; nesse caso, a configuração de um NAS virtual com o EBS ainda pode ser uma opção melhor.

— precisa

7

O S3FS pode não ser a melhor opção para uma grande quantidade de arquivos menores. A sobrecarga do S3FS também é bastante alta. Eu sugiro usar algo como S3Curl

Você pode até obter transferências paralelas. Lembre-se de que nunca será rápido como o EBS / armazenamento local.

Se você precisar tê-lo como um armazenamento 'montável', as únicas alternativas ao S3FS que eu conheço são o S3Backer ou o s3ql

— gelo fino
fonte

1

Estou procurando por algo que possa montar como um sistema de arquivos.

— MB.

Alguma idéia s3ql?

— ewwhite

Vou tentar o S3Backer e o S3Sql. Obrigado.

— MB.

5 horas são realmente lentas para ~ 500, 200 KB de arquivos, mesmo com o S3FS. Algo mais poderia ser factoring, eu não estou ciente de qualquer sintonizável S3FS que iria ajudar

— thinice

6

Acabei de comparar os riofs em comparação com o s3fs. Meu caso de teste foi um script bash relativamente simples que executava pngquant em cada arquivo .png encontrado. Em um testbucket com ~ 70 imagens das quais ~ 20 em que png (espalhadas por muitos subdiretórios, o que provavelmente torna as coisas mais lentas), os resultados são os seguintes:

s3fs: 3m54
riofs: 15.9s

Portanto, para este teste, os riofs são ~ 15x mais rápidos! A instalação também foi muito direta, embora os documentos sejam um pouco concisos.

Em relação ao fato de o script ainda ter 15,9 anos: não é muito eficiente, também a execução de pngquant em png é um processo intensivo de CPU.

— Milo de Vries
fonte

Infelizmente riofs falha comAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

Apenas adicionando riofs à mistura. Não pude ver nenhum benchmark no momento, mas há um problema / solicitação que qualquer pessoa pode fazer.

— f01
fonte

2

Acabei de lançar a v0.0.1 de https://github.com/kahing/goofys, que foi parcialmente motivada por problemas de desempenho no s3fs. A velocidade de criação do arquivo é de 3-6x e o tempo do primeiro byte é de 58x. Feedback bem-vindo!

— khc
fonte

2

A partir de 2019 - Goofys é a escolha recomendada. O Riotfs não é atualizado há um tempo.

— timofey.com

1

Eu usei [1] e é muito bom. É um monte de comandos e facilita o acesso a aws e s3.

http://timkay.com/aws/

— Amit
fonte

1

Bem-vindo à falha do servidor! Embora isso possa teoricamente responder à pergunta, seria preferível incluir aqui as partes essenciais da resposta e fornecer o link para referência.

— Scott Pack

1

Comparei s3fs com riofs e quase mudei por causa do desempenho visivelmente melhor. O problema é que o riofs ainda não é atualizado para assinaturas v4, o que significa que não funcionará com os buckets de Frankfurt ou China s3. Segundo o proprietário, uma atualização está a caminho. Se você não usa Frankfurt ou China, o riofs é uma opção melhor.

— Steve
fonte

— Também

1

Isso é meio velho, mas pode ajudar quem chega aqui.

Estou usando o aws cli e está funcionando muito bem (3 Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
fonte