Estatísticas e Big Data pca

1

Análise de PCA e Correspondência em relação ao Biplot

Biplot é frequentemente usado para exibir resultados da análise de componentes principais (e de técnicas relacionadas). É um gráfico de dispersão duplo ou de sobreposição que mostra as cargas dos componentes e as pontuações dos componentes simultaneamente. Fui informado por @amoeba hoje que ele deu uma resposta que parte do …

38 pca multivariate-analysis svd correspondence-analysis biplot

2

Como a Análise Fatorial explica a covariância, enquanto o PCA explica a variância?

Aqui está uma citação do livro "Reconhecimento de padrões e aprendizado de máquina" de Bishop, seção 12.2.4 "Análise fatorial": De acordo com a parte destacada, análise de factor de captura entre a covariância variáveis na matrizWWW . Eu me pergunto como ? Aqui está como eu entendo isso. Diga é …

37 pca factor-analysis geometry

3

O sinal de pontuações ou cargas no PCA ou FA tem algum significado? Posso reverter o sinal?

Realizei a análise de componentes principais (PCA) com R usando duas funções diferentes ( prcompe princomp) e observei que as pontuações do PCA diferiam no sinal. Como pode ser? Considere isto: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 …

37 r pca factor-analysis

3

Linearidade do PCA

O PCA é considerado um procedimento linear, no entanto: P C A (X) ≠ P C A ( X1 1) + P C A ( X2) + … + P C A ( Xn) ,PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), onde . Isto quer dizer que os autovetores obtidos pelos PCAs nas matrizes de …

35 pca linear

3

PCA e a divisão trem / teste

Eu tenho um conjunto de dados para o qual tenho vários conjuntos de rótulos binários. Para cada conjunto de rótulos, treino um classificador, avaliando-o por validação cruzada. Quero reduzir a dimensionalidade usando a análise de componentes principais (PCA). Minha pergunta é: É possível executar o PCA uma vez para todo …

35 machine-learning classification pca cross-validation

3

Por que o t-SNE não é usado como uma técnica de redução de dimensionalidade para agrupamento ou classificação?

Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters …

34 classification clustering pca dimensionality-reduction tsne

1

Qual é a razão intuitiva por trás das rotações na Análise Fatorial / PCA e como selecionar a rotação apropriada?

Minhas perguntas Qual é a razão intuitiva por trás da rotação de fatores na análise fatorial (ou componentes no PCA)? Meu entendimento é que, se as variáveis são quase igualmente carregadas nos principais componentes (ou fatores), então obviamente é difícil diferenciar os componentes. Portanto, neste caso, pode-se usar a rotação …

33 pca interpretation factor-analysis dimensionality-reduction factor-rotation

1

Como o PCA ajudaria na análise de agrupamento k-means?

Antecedentes : quero classificar as áreas residenciais de uma cidade em grupos com base em suas características socioeconômicas, incluindo densidade de unidades habitacionais, densidade populacional, área de espaços verdes, preço da habitação, número de escolas / centros de saúde / creches, etc. Quero entender em quantos grupos diferentes as áreas …

32 clustering pca k-means dimensionality-reduction

3

PCA na correlação ou covariância: o PCA na correlação faz algum sentido? [fechadas]

Na análise de componentes principais (PCA), pode-se escolher a matriz de covariância ou a matriz de correlação para encontrar os componentes (de seus respectivos vetores próprios). Eles fornecem resultados diferentes (cargas de PC e pontuações), porque os vetores próprios entre as duas matrizes não são iguais. Meu entendimento é que …

32 pca factor-analysis

1

Função objetivo do PCA: qual é a conexão entre maximizar a variação e minimizar o erro?

O algoritmo PCA pode ser formulado em termos da matriz de correlação (suponha que os dados XXX já tenham sido normalizados e estamos considerando apenas a projeção no primeiro PC). A função objetivo pode ser escrita como: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Isso é bom e …

32 pca optimization

3

Construindo um Autoencoder no Tensorflow para Superar o PCA

Hinton e Salakhutdinov, em Reduzindo a dimensionalidade dos dados com redes neurais, a Science 2006 propôs um PCA não linear através do uso de um autoencoder profundo. Eu tentei construir e treinar um autoencoder PCA com Tensorflow várias vezes, mas nunca consegui obter melhores resultados do que o PCA linear. …

31 pca python deep-learning tensorflow autoencoders

5

Detectando preditores significativos de muitas variáveis independentes

Em um conjunto de dados de duas populações não sobrepostas (pacientes e saudáveis, total ), gostaria de encontrar (de variáveis independentes) preditores significativos para uma variável dependente contínua. Correlação entre preditores está presente. Estou interessado em descobrir se algum dos preditores está relacionado à variável dependente "na realidade" (em vez …

31 regression pca feature-selection stepwise-regression underdetermined

1

Redução de dimensionalidade (SVD ou PCA) em uma matriz grande e esparsa

/ editar: Acompanhamento adicional agora você pode usar o irlba :: prcomp_irlba / edit: acompanhando meu próprio post. irlbaagora possui argumentos de "centro" e "escala", que permitem usá-lo para calcular componentes principais, por exemplo: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Eu tenho um grande número Matrixde recursos …

31 r pca dimensionality-reduction svd matrix-decomposition

3

Visualizando um milhão, edição PCA

É possível visualizar a saída da Análise de componentes principais de maneiras que fornecem mais informações do que apenas tabelas de resumo? É possível fazer isso quando o número de observações é grande, digamos ~ 1e4? E é possível fazer isso em R [outros ambientes são bem-vindos]?

31 r data-visualization pca biplot

4

Como executar a redução de dimensionalidade com o PCA em R

Eu tenho um grande conjunto de dados e quero realizar uma redução de dimensionalidade. Agora, em todos os lugares que leio, posso usar o PCA para isso. No entanto, ainda não consigo entender o que fazer depois de calcular / executar o PCA. Em R isso é facilmente feito com …

30 r pca

Perguntas com a marcação «pca»