Geoserver com bucket do Amazon s3

Eu tenho o Apache executando o Geoserver na minha instância virtual e estou me perguntando se o diretório de dados do Geoserver pode apontar para um bucket do Amazon S3. Isso é possível? Como isso afeta o desempenho?

Se o S3 for uma configuração ruim para o diretório de dados do Geoserver, existem sugestões para adicionar grandes quantidades de dados ao meu diretório de dados do Geoserver? O diretório de dados pode atingir até 100 GB, possivelmente mais. Devo apenas obter um servidor com um disco rígido grande ou conectar-me a uma solução mais escalável, como um bucket do Amazon S3?

geoserver amazon-s3

— modulitos
fonte

Quais são os dados? Acho que as imagens, mas você as telhou? Talvez algum banco de dados para a vitória raster :-)

— BradHards

Se os dados forem rasterizados e forem lidos e processados para o WMS S3 interativo, pode ser muito lento. Dicas de experiências anteriores, você pode querer olhar para o glusterfs + EBS.

— simogeo

Tenho interesse em usar o S3 como um balde de dados compartilhados para uma frota de GeoServers horizontalmente elasticamente escalonáveis. Atualmente, estou investigando o uso do S3Fuse para montar um sistema de arquivos para isso. Seria ótimo saber de outros sucessos / falhas nessa área.

— 8bjunkie

Alguma experiência neste assunto?

— Geogeek #

Respostas:

Apontar "diretamente" para um bucket S3 (por exemplo, usar s3fs) é "provavelmente" uma má idéia. por exemplo, /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

O EBS é quase certamente o lugar certo para armazenar os dados para acesso pelo GeoServer.

100 GB é muito gerenciável pelos padrões EBS. (O tamanho máximo do volume é 16 Terabytes!)

Sugiro que você armazene os dados originais no S3 e depois replique nas instâncias, conforme necessário, usando as ferramentas da AWS CLI para sincronizar o conteúdo de uma pasta S3 com a instância local com um único comando. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). O S3 é sem dúvida redundante, mas acho que agrega flexibilidade e conveniência.

Observação: se você planeja usar grandes instâncias multinúcleo de qualquer maneira E sabe que o volume de dados provavelmente não aumenta inesperadamente E é capaz de construir automaticamente suas instâncias, considere usar o armazenamento de instância ("armazenamento efêmero" ), porque seus dados originais estarão seguros no S3, você poderá economizar nas taxas do EBS e, em alguns casos, o armazenamento da instância poderá ser um pouco mais rápido que o EBS.

— python1981
fonte

Esta é uma resposta abrangente. Boundless tem um pouco de informação aqui: boundlessgeo.com/2013/04/…

— Alex Leith

o que você usa para iniciar os comandos da AWS a partir do pyQGIS? Processing.call? O boto3 parece não funcionar. Ele é executado no shell OSGeo com python2, mas não 3 ...

— Leo

Isso é possível: isso pode ser facilmente alcançado para dados adequados ao formato GeoTIFF usando o módulo Comunidade Geoserver s3 for Geotiff - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Como isso afeta o desempenho? Isso é difícil de responder, no entanto, eu achei o desempenho aproximadamente equivalente ao armazenamento EBS / EFS por uma fração do preço.

— Nstillwell
fonte