Melhore a velocidade da implementação do t-sne em python para obter grandes dados

Eu gostaria de fazer uma redução de dimensionalidade em quase 1 milhão de vetores, cada um com 200 dimensões ( doc2vec). Estou usando a TSNEimplementação do sklearn.manifoldmódulo para ele e o grande problema é a complexidade do tempo. Mesmo com method = barnes_hut, a velocidade da computação ainda é baixa. Algum tempo até fica sem memória.

Estou executando-o em um processador de 48 núcleos com 130G de RAM. Existe um método para executá-lo paralelamente ou usar o recurso abundante para acelerar o processo.

Você deve examinar esta implementação multicore do t-SNE.

Na verdade, eu tentei e posso garantir seu desempenho superior.

Confira t-SNE baseado em interpolação acelerada por FFT ( papel , código e pacote Python ).

Do resumo:

Apresentamos t-SNE baseado em interpolação acelerada por transformação de Fourier rápida (FIt-SNE), que acelera drasticamente o cálculo do t-SNE. A etapa mais demorada do t-SNE é uma convolução que aceleramos interpolando em uma grade com espaço equidistante e subsequentemente usando a rápida transformação de Fourier para realizar a convolução. Também otimizamos o cálculo das semelhanças de entrada em altas dimensões usando vizinhos mais próximos aproximados multithread.

O artigo também inclui um exemplo de um conjunto de dados com um milhão de pontos e 100 dimensões (semelhante à configuração do OP), e parece levar aproximadamente 1 hora.

Como não há respostas no SO, perguntei-me na página do github e o problema foi encerrado com a seguinte resposta de GaelVaroquaux ..

Se você deseja apenas paralelizar a operação vetorial, deve usar uma compilação de numpy compilada com MKL (não tente fazer isso sozinho, é um desafio).

Poderia haver abordagens para o paralelismo de alto nível no próprio algoritmo, o que provavelmente levaria a ganhos maiores. No entanto, após uma rápida olhada no código, não vi nenhuma maneira clara de fazer isso.

Vou adiante e encerro esta questão, pois é mais uma lista de desejos do céu azul. Concordo plenamente, gostaria que o TSNE fosse mais rápido e seria ótimo se o paralelismo fosse fácil. Mas, no estado atual, é necessário mais trabalho em um estado em que possamos lidar com essa lista de desejos.

Experimente o UMAP: https://github.com/lmcinnes/umap

É significativamente mais rápido que o t-SNE.