Eu pesquisei no "Spherical Spatial Index" no Google. Existem vários métodos possíveis usando a decomposição triangular da esfera, ou inclinações voronoi. Um método que parece facilmente implementável é considerar seus dados em 3d, como na seção "Caixa delimitadora 3D" aqui:
http://lin-ear-th-inking.blogspot.co.uk/2007/09/geodetic-data-in-postgis-spherical.html
Então você precisa de algum tipo de índice espacial 3d, para encontrar rapidamente todos os pontos em um quilômetro. Este seria um raio de pesquisa 3D de 1 km , tão ligeiramente diferente de um raio de 1 km ao longo da superfície da Terra, mas para raios de pesquisa pequenos, seria efetivamente idêntico (faça as contas para calcular a correção).
Se você deseja precisão absoluta, use isso como um primeiro passo e depois calcule as distâncias através de um grande círculo para eliminá-las mais longe (a distância ao longo de uma esfera é sempre maior que a distância através de uma esfera).