Perguntas com a marcação «tsne»

Eu tenho um aplicativo em que seria útil agrupar um conjunto de dados barulhento antes de procurar efeitos de subgrupos nos clusters. Olhei pela primeira vez para o PCA, mas são necessários ~ 30 componentes para atingir 90% da variabilidade; portanto, agrupar apenas alguns PCs descartará muita informação. Eu tentei …

78 clustering  interpretation  k-means  tsne 

Quero ver como 7 medidas de comportamento de correção de texto (tempo gasto corrigindo o texto, número de pressionamentos de tecla etc.) se relacionam. As medidas estão correlacionadas. Executei um PCA para ver como as medidas projetavam no PC1 e PC2, o que evitava a sobreposição de executar testes de …

39 pca  tsne 

Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de Kullback-Leibler em …

39 kullback-leibler  tsne  cross-entropy 

Citando um dos autores: A Incorporação Estocástica de Vizinhança Distribuída t (SNE) é uma técnica ( premiada ) para redução de dimensionalidade que é particularmente adequada para a visualização de conjuntos de dados de alta dimensão. Parece ótimo, mas esse é o autor falando. Outra citação do autor (re: a …

37 data-visualization  dimensionality-reduction  tsne 

Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters …

34 classification  clustering  pca  dimensionality-reduction  tsne 

Eu tenho uma matriz de números de ponto flutuante 336x256 (336 genomas bacterianos (colunas) x 256 frequências tetranucleotídicas normalizadas (linhas), por exemplo, todas as colunas somam 1). Eu obtenho bons resultados quando executo minha análise usando a análise de componentes principais. Primeiro, calculo os clusters de kmeans nos dados, depois …

27 r  pca  tsne 

Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos aprendidos por uma …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Ultimamente, tenho lido algumas perguntas sobre t-SNE ( Incorporação estocástica de vizinhos t-distribuídos ) e também visitou algumas perguntas sobre MDS ( Multidimensional Scaling ). Eles costumam ser usados ​​de forma análoga; portanto, parecia uma boa idéia fazer essa pergunta, pois há muitas perguntas sobre as duas separadamente (ou comparadas …

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Meu entendimento do t-SNE e da aproximação de Barnes-Hut é que todos os pontos de dados são necessários para que todas as interações de força possam ser calculadas ao mesmo tempo e que cada ponto possa ser ajustado no mapa 2d (ou menor dimensão). Existem versões do t-sne que podem …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância euclidiana padrão.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Eu tenho um doutorado em biologia molecular. Meus estudos começaram recentemente a envolver análise de dados de alta dimensão. Tive a ideia de como o t-SNE funciona (graças a um vídeo do StatQuest no YouTube ), mas não consigo entender o UMAP (ouvi a palestra do criador do UMAP on-line, …

18 dimensionality-reduction  intuition  tsne 

No problema específico em que trabalho (uma competição), tenho a seguinte configuração: 21 recursos (numéricos em [0,1]) e uma saída binária. Eu tenho aproximadamente 100 mil linhas. A configuração parece ser muito barulhenta. Eu e outros participantes aplicamos a geração de recursos por um tempo e a incorporação estocástica de …

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

Atualmente, estou tentando entender a matemática do t-SNE . Infelizmente, ainda há uma pergunta que não consigo responder satisfatoriamente: qual é o significado real dos eixos em um gráfico t-SNE? Se eu fosse fazer uma apresentação sobre esse tópico ou incluí-lo em qualquer publicação: Como rotularia os eixos de maneira …

12 machine-learning  dimensionality-reduction  tsne 

Vamos supor que temos um problema de classificação e, inicialmente, queremos obter algumas informações dos dados e fazemos o t-SNE. O resultado do t-SNE separa muito bem as classes. Isso implica que é possível criar um modelo de classificação que também irá separar muito bem as classes (se t-SNE não …

12 classification  tsne 

Em que situações devemos usar o t-SNE (além da visualização de dados)? O T-SNE é usado para redução de dimensionalidade. A resposta a esta pergunta sugere que o t-SNE deve ser usado apenas para visualização e que não devemos usá-lo para agrupamento. Então, qual é o bom uso do t-SNE?

12 data-visualization  dimensionality-reduction  tsne