Perguntas com a marcação «big-data»

Eu tenho um código Python que foi projetado para levar shapefiles de ponto através do seguinte fluxo de trabalho: Mesclar pontos Integre pontos, de modo que quaisquer pontos a menos de 1 m um do outro se tornem um ponto Camada Criar recurso, onde pontos com z <10 são selecionados …

34 arcpy  geoprocessing  big-data 

Tenho que importar grandes arquivos de forma (mais de 1 milhão de registros) para o PostGIS, e fiquei pensando sobre a melhor maneira de fazer isso. Na minha pergunta, usei a palavra "hack", em vez de ferramenta, de propósito, porque acho que não se trata tanto de qual ferramenta, mas …

21 postgis  database  big-data 

Estou interessado em aprender a utilizar matrizes NumPy para otimizar o geoprocessamento. Grande parte do meu trabalho envolve "big data", onde o geoprocessamento geralmente leva dias para realizar determinadas tarefas. Escusado será dizer que estou muito interessado em otimizar essas rotinas. O ArcGIS 10.1 possui várias funções NumPy que podem …

16 arcgis-desktop  python  arcpy  numpy  big-data 

Estou interessado em aprender métodos para utilizar toda a extensão do poder de processamento multicore disponível em um computador desktop. Arc afirma que o geoprocessamento em segundo plano permite que o usuário utilize vários núcleos; no entanto, as tarefas precisam aguardar na fila para que a tarefa anterior seja concluída. …

12 python  arcpy  parallel-processing  big-data 

Estou tentando cortar um grande ECW (detalhes abaixo), mas o arquivo raster é muito grande para ser processado completamente. Alguns detalhes da ECW abaixo Driver: Wavelets compactadas ECW / ERDAS (SDK 5.0) tamanho do arquivo: 50gb O tamanho é 450000, 565081 Tamanho do pixel: 0,15 0,15 COLORSPACE = RGB COMPRESSION_RATE_TARGET …

9 raster  gdal  clip  ecw  big-data