Perguntas com a marcação «large-datasets»

Eu tenho um CSV contendo 200 milhões de observações com o seguinte formato: id,x1,y1,x2,y2,day,color 1,"-105.4652334","39.2586939","-105.4321296","39.2236632","Monday","Black" 2,"-105.3224523","39.1323299","-105.4439944","39.3352235","Tuesday","Green" 3,"-104.4233452","39.0234355","-105.4643990","39.1223435","Wednesday","Blue" Para cada conjunto de coordenadas (x1 / y1 e x2 / y2), desejo atribuir o setor censitário dos EUA ou o bloco censitário em que ele se enquadra (baixei o arquivo de shapefile …

35 postgis  spatialite  point-in-polygon  large-datasets  optimization 

Existem bancos de dados gratuitos ou com preços razoáveis ​​para os EUA que possam ser pesquisados ​​e retornar informações de latitude e longitude?

34 geocoding  large-datasets 

Frequentemente, me encontro em uma situação em que não me importo se minha ferramenta produz ou não uma nova classe de recurso, mas me importo quanto tempo leva para combinar todos os meus grandes conjuntos de dados. Demora mais tempo para produzir uma nova classe de recurso usando a ferramenta …

12 arcgis-desktop  arcgis-10.0  merge  performance  large-datasets 

Eu tenho um grande conjunto de pontos de dados que representam essencialmente a costa do mundo. Não sei a resolução exata, mas diria que é de 5 a 10m. Imagine um conjunto de pontos que representam um litoral irregular. Em uma resolução de 1 metro, vemos todos os detalhes e …

12 vector  algorithm  scale  generalization  large-datasets 

Para "fins de aluguel", preciso especificar os recursos de computação necessários no centro de computação da minha universidade. Eu tenho muito pouca ideia do que pedir. Considerando as informações abaixo, você pode sugerir algo? Este é o cluster computacional: "Um servidor de dez blade com cada blade composto por 2 …

9 large-datasets  hardware-recommendations 

Eu tenho uma nuvem de pontos grande (arquivo LAS) e estou tentando diminuir isso usando uma técnica complexa. Eu sei que é possível afinar uma nuvem de pontos usando técnicas simples, como extrair todos os enésimos pontos. No entanto, a nuvem de pontos com que estou trabalhando é mais densa …

8 lidar  software-recommendations  large-datasets  las  point-cloud 

Como uma varredura pode ser computada com eficiência (em Python), considerando um conjunto que consiste em bilhões de caixas delimitadoras (lidas sequencialmente em um arquivo) e considerando que os valores da varredura para cada célula devem fornecer o número de caixas delimitadoras sobrepostas? Para uma varredura de 4000 * 4000 …

8 raster  polygon  extents  large-datasets  heat-map 

O problema que enfrento tem os seguintes antecedentes: Estamos geocodificando um imenso diretório de registros. É algo além de 100 milhões de endereços. Dividi os endereços em uma razão geográfica tão pequena quanto considero viável, afirma. Mesmo assim, um único estado pode ter mais de 5 milhões de registros para …

8 arcgis-10.0  geoprocessing  geocoding  large-datasets 

Eu tenho um conjunto de sites na casa dos milhares. Nem todos os usuários veem os mesmos sites no mapa - portanto, a ACL. Os dados são armazenados em um banco de dados não GIS (mssql, ora, etc) e agora são recuperados com uma consulta SQL padrão e retornados ao …

8 openlayers-2  wms  security  large-datasets 

Eu tenho uma consulta PostGIS que retornará vários milhões de linhas: SELECT t1.id AS id1, t2.id AS id2, ABS(t1.mean_h - t2.mean_h) AS h_diff, ST_Distance(t1.the_geom, t2.the_geom) AS dist FROM tas_ponds as t1, tas_ponds as t2 WHERE (t1.gid > t2.gid) AND ST_DWithin(t1.the_geom, t2.the_geom, 17000) Quando executado psql, recebo um out of memory …

8 postgis  sql  large-datasets