Quero criar um banco de dados usando qualquer um dos RDBMS possíveis. Terá uma tabela com aproximadamente 150 colunas. O objetivo é realizar a pesquisa de vizinhos mais próximos de alguns outros objetos. Portanto, é um NNS no espaço 150-dimensional.

Eu já tentei usar alguns métodos óbvios, como distâncias L1 ou L2, mas é claro que leva muito tempo para tabelas com muitas linhas. Também tentei olhar para a árvore KD (note que não a testei) e PG-Strom, mas elas não são uma boa solução para dados com muitas dimensões.

Posso, de alguma forma, melhorar a velocidade da pesquisa descrita usando métodos matemáticos (como KD-tree) ou métodos técnicos (como PG-Strom)?

Vou tentar usar qualquer RDBMS que permita melhorar a velocidade do NNS. Mas MySQL e PostgreSQL são os DBMS mais apropriados para mim.

PostgreSQL 9.6 usando cube

Primeiro instale a extensão do cubo

CREATE EXTENSION cube;

Agora vamos criar um espaço n-dimensional com 100.000 pontos em 50 dimensões. Além disso, adicionaremos um índice GIST.

CREATE TEMP TABLE space_nd
AS
  SELECT i, cube(array_agg(random()::float)) AS c
  FROM generate_series(1,1e5) AS i
  CROSS JOIN LATERAL generate_series(1,50)
    AS x
  GROUP BY i;

CREATE INDEX ON space_nd USING gist ( c );
ANALYZE space_nd;

Agora, geraremos um único ponto e usaremos o <->operador para encontrar o ponto mais próximo usando a distância euclediana.

WITH points AS (
  SELECT cube(array_agg(random()::float)) AS c
  FROM generate_series(1,50)
    AS x
)
SELECT i,
  pg_typeof(space_nd.c),
  pg_typeof(points.c),
  cube_distance(space_nd.c, points.c)
FROM space_nd
CROSS JOIN points
ORDER BY space_nd.c <-> points.c
LIMIT 5;

O PostgreSQL 9.6+ suporta outros operadores à distância cube. Tudo isso pode usar o índice GIST que criamos. Nomeadamente,

a <-> b float8  Euclidean distance between a and b.
a <#> b float8  Taxicab (L-1 metric) distance between a and b.
a <=> b float8  Chebyshev (L-inf metric) distance between a and b.

Dito isto, há uma ressalva,

Para tornar mais difícil as pessoas quebrarem coisas, há um limite de 100 no número de dimensões de cubos. Isso é definido em cubedata.h se você precisar de algo maior.

Você pede 150 dimensões. Isso pode apresentar uma pequena complicação.

Considere executar a redução de dimensão primeiro (por exemplo, Análise de componentes principais).

Então você está executando o NN em um pequeno número de dimensões com maior desempenho.

Você pode usar o Pl / R para executar o PCA dentro do postgres, se necessário.

Dê uma olhada na FLANN e OpenCV .

Infelizmente, não estou ciente de uma integração disso em um sistema RDBMS. Mas há, por exemplo, integração de informações de estrutura química com o Posgres. Então, em princípio, isso pode ser feito.

Dê uma olhada em https://github.com/a-mma/AquilaDB , é um banco de dados vetorial para armazenar vetores de recursos junto com metadados JSON. Mantenha-o junto com seu RDBMS e use metadados para manter a referência cruzada entre dados.