Estatísticas e Big Data dimensionality-reduction

5

Como os principais componentes principais podem reter o poder preditivo de uma variável dependente (ou até levar a melhores previsões)?

Suponha que eu estou correndo uma regressão . Por seleccionando top principais componentes do , é que o modelo de manter o seu poder preditivo em ?k X YY∼XY∼XY \sim XkkkXXXYYY Eu entendo que a partir de-redução de dimensionalidade / ponto de recurso de seleção de vista, se são os …

25 regression classification pca dimensionality-reduction regularization

2

Como entender “não linear” como em “redução de dimensionalidade não linear”?

Estou tentando entender as diferenças entre os métodos de redução de dimensionalidade linear (por exemplo, PCA) e os não lineares (por exemplo, Isomap). Não consigo entender direito o que a (não) linearidade implica nesse contexto. Eu li na Wikipedia que Por comparação, se o PCA (um algoritmo de redução de …

24 pca terminology dimensionality-reduction pattern-recognition manifold-learning

3

A redução de dimensionalidade para visualização deve ser considerada um problema "fechado", resolvido pelo t-SNE?

Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos aprendidos por uma …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

Por que existem componentes principais para dados se o número de dimensões é ?

No PCA, quando o número de dimensões é maior que (ou mesmo igual a) o número de amostras , por que você terá no máximo autovetores diferentes de zero? Em outras palavras, a classificação da matriz de covariância entre as dimensões é .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Exemplo: suas amostras são imagens vetorizadas, …

22 pca dimensionality-reduction eigenvalues

2

O que é "regressão de classificação reduzida"?

Li os Elementos do aprendizado estatístico e não conseguia entender o que é a Seção 3.7 "Seleção e contração de múltiplos resultados". Ele fala sobre RRR (regressão de classificação reduzida), e só consigo entender que a premissa é sobre um modelo linear multivariado generalizado em que os coeficientes são desconhecidos …

22 regression multivariate-analysis dimensionality-reduction regularization reduced-rank-regression

1

t-SNE versus MDS

Ultimamente, tenho lido algumas perguntas sobre t-SNE ( Incorporação estocástica de vizinhos t-distribuídos ) e também visitou algumas perguntas sobre MDS ( Multidimensional Scaling ). Eles costumam ser usados de forma análoga; portanto, parecia uma boa idéia fazer essa pergunta, pois há muitas perguntas sobre as duas separadamente (ou comparadas …

21 data-visualization dimensionality-reduction multidimensional-scaling tsne

3

PCA quando a dimensionalidade for maior que o número de amostras

Eu me deparei com um cenário em que tenho 10 sinais / pessoa para 10 pessoas (então 100 amostras) contendo 14000 pontos de dados (dimensões) que preciso passar para um classificador. Gostaria de reduzir a dimensionalidade desses dados e o PCA parece ser o caminho para fazê-lo. No entanto, só …

21 pca dimensionality-reduction svd

4

Por que os dados mistos são um problema para os algoritmos de cluster baseado em euclidianos?

A maioria dos algoritmos clássicos de agrupamento e redução de dimensionalidade (agrupamento hierárquico, análise de componentes principais, médias médias, mapas auto-organizados ...) são projetados especificamente para dados numéricos, e seus dados de entrada são vistos como pontos em um espaço euclidiano. É claro que isso é um problema, pois muitas …

21 clustering dimensionality-reduction distance self-organizing-maps mixed-type-data

4

Análise funcional de componentes principais (FPCA): do que se trata?

A análise funcional de componentes principais (FPCA) é algo que me deparei com e nunca consegui entender. Sobre o que é tudo isso? Veja "Uma pesquisa sobre análise funcional de componentes principais" de Shang, 2011 , e estou citando: O PCA encontra sérias dificuldades na análise de dados funcionais devido …

21 time-series pca dimensionality-reduction

1

Como o LDA, uma técnica de classificação, também serve como técnica de redução de dimensionalidade como o PCA

Neste artigo , o autor vincula a análise discriminante linear (LDA) à análise de componentes principais (PCA). Com meu conhecimento limitado, não sou capaz de acompanhar como o LDA pode ser um pouco semelhante ao PCA. Eu sempre pensei que o LDA era uma forma de algoritmo de classificação, semelhante …

19 classification pca dimensionality-reduction discriminant-analysis canonical-correlation

5

Existem versões do t-SNE para streaming de dados?

Meu entendimento do t-SNE e da aproximação de Barnes-Hut é que todos os pontos de dados são necessários para que todas as interações de força possam ser calculadas ao mesmo tempo e que cada ponto possa ser ajustado no mapa 2d (ou menor dimensão). Existem versões do t-sne que podem …

19 data-visualization dimensionality-reduction multidimensional-scaling tsne

1

Os dados devem ser centralizados + dimensionados antes de aplicar o t-SNE?

Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância euclidiana padrão.

18 normalization dimensionality-reduction high-dimensional tsne

2

Explicação intuitiva de como o UMAP funciona, comparado ao t-SNE

Eu tenho um doutorado em biologia molecular. Meus estudos começaram recentemente a envolver análise de dados de alta dimensão. Tive a ideia de como o t-SNE funciona (graças a um vídeo do StatQuest no YouTube ), mas não consigo entender o UMAP (ouvi a palestra do criador do UMAP on-line, …

18 dimensionality-reduction intuition tsne

4

A “maldição da dimensionalidade” realmente existe em dados reais?

Entendo o que é "maldição da dimensionalidade", e resolvi alguns problemas de otimização dimensional e conheço o desafio das possibilidades exponenciais. No entanto, duvido que a "maldição da dimensionalidade" exista na maioria dos dados do mundo real (bem, vamos deixar imagens ou vídeos de lado por um momento, estou pensando …

17 clustering dimensionality-reduction high-dimensional

4

Variáveis de "normalização" para SVD / PCA

Suponha que tenhamos NNN variáveis mensuráveis, ( a1, um2, ... , UmN)(uma1,uma2,...,umaN)(a_1, a_2, \ldots, a_N) , fazemos um número M> NM>NM > N de medições e, em seguida, desejamos realizar uma decomposição de valor singular nos resultados para encontrar os eixos de maior variância para a MMM pontos no espaço …

17 pca data-transformation normalization dimensionality-reduction svd

Perguntas com a marcação «dimensionality-reduction»