Como pesquiso com eficiência todos os pontos de referência dentro de um intervalo de um determinado ponto de referência?

Estou tentando começar com um projeto de pesquisa geográfica que encontrará todos os pontos de referência nos 10 km / milhas (não importantes para esta história) de um ponto de referência específico.

Por exemplo, digamos que eu tenha um banco de dados com 1.000.000 de pontos de referência. Para encontrar todos os pontos de referência no intervalo de 10 milhas de um ponto de referência com determinadas coordenadas, eu precisaria calcular a distância entre um ponto de referência da minha pesquisa e 1.000.000 pontos de referência.

Existe uma maneira melhor de fazer isso?

A alternativa que eu estava pensando é categorizar pontos de referência como país, região, cidade, bairro, empresa, histórico etc. de tal maneira que as empresas possam fazer parte de uma vizinhança ou cidade. A cidade faz parte de uma região, país, etc. Isso pode restringir uma lista de cálculos, mas ainda parece haver muito trabalho a fazer para que a pesquisa seja rápida e precisa.

A API do Google Maps poderia ajudar?

Desde o SQL Server 2008, existe um tipo de dados geográficos que armazena locais (pares lat / lon) e facilita a gravação de consultas relacionadas ao local.

Existe uma resposta StackOverflow existente que discute isso em profundidade.

Uma consulta básica para encontrar os 7 itens mais próximos :

USE AdventureWorks2012  
GO  
DECLARE @g geography = 'POINT(-121.626 47.8315)';  
SELECT TOP(7) SpatialLocation.ToString(), City FROM Person.Address  
WHERE SpatialLocation.STDistance(@g) IS NOT NULL  
ORDER BY SpatialLocation.STDistance(@g);  

Uma consulta básica para encontrar tudo dentro de 100m (segunda resposta à pergunta)

-- Get the center point
DECLARE @g geography
SELECT @g = geo FROM yourTable WHERE PointId = something

-- Get the results, radius 100m
SELECT * FROM yourTable WHERE @g.STDistance(geo) <= 100

Use um banco de dados com suporte para consultas GIS (sistemas de informações geográficas) . A maioria dos bancos de dados suporta isso de imediato ou possui extensões, mas os detalhes serão específicos do banco de dados (na resposta , Flater mostra a sintaxe do SQL Server).

Se você precisar implementar essas consultas na sua aplicação, poderá implementar uma estrutura de dados que permita consultas espaciais, por exemplo, uma árvore kd . É como uma árvore de pesquisa binária, exceto que cada nível da árvore é particionado em uma dimensão de coordenada diferente. Isso permite restringir a pesquisa a um conjunto menor de candidatos possíveis. Efetivamente, você traduz sua pesquisa "raio de 10 km" em limites para cada dimensão de coordenada e os aperta conforme recua na árvore.

Sim, existe uma maneira melhor. Você precisa usar um índice espacial . Esses índices organizam metadados sobre geometrias para filtrar geometrias distantes muito rapidamente, economizando muitos ciclos de CPU, evitando os cálculos que você descreve. Você não deve se preocupar em implementar um, pois todos os principais bancos de dados relacionais fornecem um tipo de geometria espacial e índices para acompanhá-los.

• O PostGIS (a extensão GIS do PostgreSQL) usa R-Trees: http://postgis.net/docs/using_postgis_dbmanagement.html#idm2246 (o tipo GiST)
• O SQL Server usa índices de grade: https://docs.microsoft.com/en-us/sql/relational-databases/spatial/spatial-indexes-overview?view=sql-server-2017
• A Oracle usa R-Trees: https://docs.oracle.com/database/121/SPATL/creating-spatial-index.htm
• O MySQL usa R-Trees: https://dev.mysql.com/doc/refman/8.0/en/optimizing-spatial-analysis.html

O que você deseja examinar são consultas "à distância" (consultas para geometrias a uma certa distância de outra geometria). Estes são muito padrão e muito um problema resolvido e são possíveis em todos os bancos de dados acima (e incorporados em vários):

• PostGIS: ST_DWithin
• SQL Server: STDistance(Não está claro que o uso de índice na versão geográfica 3D dessa função é suportada)
• Oracle: SDO_WITHIN_DISTANCE(isso não diz explicitamente que ele acionará o uso do índice. Eu daria uma checada no plano de consulta. Pode ser necessário aplicar um SDO_FILTERpara fazê-lo usar o índice.)
• MySQL: Ainda estou descobrindo isso.

Solução alternativa para acionar o uso do índice

No pior caso onde você tem problemas para obter o sistema para usar o índice espacial com estas consultas, você pode adicionar um filtro adicional. Você criaria uma caixa delimitadora quadrada com lados de comprimento 2 * (distância de pesquisa) centralizada no ponto de pesquisa e compararia as caixas delimitadoras das geometrias da tabela com essa antes de verificar a distância real. É o que o PostGIS ' ST_DWithinacima faz internamente de qualquer maneira.

Distância em SIG

Embora os índices espaciais sejam fantásticos e absolutamente a solução certa para o seu problema, o cálculo da distância pode ser logicamente complicado. Em particular, você precisa se preocupar com em qual projeção (basicamente todos os parâmetros do sistema de coordenadas) seus dados são armazenados. A maioria das projeções 2D (outras coisas que não os sistemas de coordenadas angulares, como as várias projeções latinas / longas) distorcem significativamente o comprimento. Por exemplo, a projeção Web Mercator (usada pelo Google, Bing e todos os principais fornecedores de mapas de base) expande áreas e distâncias cada vez mais à medida que a localização se afasta do do equador . Posso estar errado, pois não sou formalmente formado em SIG, mas o melhor que já vi para projeções em 2D são algumas específicas que prometem distâncias corretas de umponto único e constante em todo o mundo. (Não, não é prático usar uma projeção diferente para cada consulta; isso tornaria seus índices inúteis.)

A linha inferior é que você precisa ter certeza de que sua matemática está correta. A maneira mais simples de fazer isso da perspectiva do desenvolvimento é usar projeções angulares (geralmente chamadas de "geográficas") e funções que suportam a matemática usando um modelo de esferóide, mas esses cálculos são um pouco mais caros do que os equivalentes 2D e alguns bancos de dados podem não suportar a indexação deles. Se você pode obter um desempenho aceitável usando-os, esse provavelmente é o caminho a percorrer. Outra opção comum são as projeções regionais (como zonas UTM) que obtêm distâncias e áreas muito próximas da correção, se seus dados estiverem confinados a uma parte específica do mundo. O melhor para o seu aplicativo dependerá de seus requisitos específicos,

Isso se aplica mesmo se você não usar índices espaciais incorporados. Seus dados têm alguma projeção, independentemente de qual tecnologia ou técnica você está usando ou usa no futuro, e já está afetando as consultas e cálculos que você está fazendo no momento.

Concordo que, se possível, usar suporte específico em um banco de dados seria a maneira mais sensata de fazer isso.

No entanto, se eu tivesse que fazer isso em um banco de dados sem suporte específico, começaria consultando um quadrado que envolva a circulação, por exemplo (y> (y1 - rad)) AND (y <(y1 + rad)) AND (x> ( x1 - rad)) AND (x <(x1 + rad)). Supondo que seus pontos tenham praticamente a distribuição de consultas por um quadrado, você obterá suas correspondências verdadeiras e cerca de 30% de falsas extra. Você pode selecionar as correspondências falsas.