Sob quais condições o PCA e o FA produzem resultados semelhantes?

Sob quais condições a análise de componentes principais (PCA) e a análise fatorial (FA) podem produzir resultados semelhantes?

pca factor-analysis

— Estatísticas
fonte

Sejam as cargas (e não os vetores próprios) dos últimos componentes principais - aqueles que você coloca no PCA ( é o número de variáveis e o número de componentes ou fatores que você decidiu extrair). Se for quase diagonal, os resultados do seu PCA serão semelhantes aos da FA. Algumas perguntas para você ler: stats.stackexchange.com/q/123063/3277 , stats.stackexchange.com/q/94048/3277 .

L

$\bf L$ p-mpm

L L^{'}

$\bf LL'$

— precisa saber é o seguinte

Em outras palavras: quando o PCA isola o ruído específico da variável do sinal (fatores comuns) com tanto sucesso quanto a análise fatorial o faz regularmente. O PCA, diferentemente da FA, não se destina a fazer esse trabalho, no entanto, sob algumas condições, muitas vezes parece fazê-lo. Algumas destas condições: 1) psão grandes; 2) o ruído é pequeno para todas as variáveis; 3) o ruído é quase igual para todas as variáveis.

— precisa saber é o seguinte

Essa é uma excelente pergunta, mas infelizmente (ou talvez felizmente?) Recentemente escrevi uma resposta muito longa em um tópico relacionado , abordando sua pergunta quase exatamente. Peço que você olhe lá e veja se isso responde à sua pergunta.

Resumidamente, se focarmos apenas nos carregamentos de PCA e FA , a diferença é que o PCA encontra para reconstruir a matriz de covariância (ou correlação) de amostra mais próximo possível: enquanto FA descobre que reconstrói apenas a parte fora da diagonal da matriz de covariância (ou correlação):Com isso, quero dizer que FA não se importa com os valores na diagonal, apenas se preocupa com a parte fora da diagonal. $\mathbf W$ $\mathbf W$ $\mathbf C$

C \approx W W^{⊤},

$\mathbf C \approx \mathbf W \mathbf W^\top,$

W

$\mathbf W$

o f f d i a g {C} \approx W W^{⊤} .

$\mathrm{offdiag}\{\mathbf C\} \approx \mathbf W \mathbf W^\top.$

W W^{⊤}

$\mathbf W \mathbf W^\top$

Com isso em mente, a resposta para sua pergunta fica fácil de ver. Se o número de variáveis (tamanho de ) for grande, a parte fora da diagonal de é quase a matriz inteira (a diagonal tem tamanho e todo o tamanho da matriz , portanto, a contribuição da diagonal é de apenas ) e, portanto, podemos esperar que o PCA se aproxime bem da FA. Se os valores diagonais são bastante pequenos, eles não desempenham muito papel para o PCA, e o PCA acaba ficando próximo da FA, exatamente como @ttnphns disse acima. $n$ $\mathbf C$ $\mathbf C$ $n$ $n^2$ $1/n \to 0$

Se, por outro lado, for pequeno ou fortemente dominado pela diagonal (em particular se tiver valores muito diferentes na diagonal), o PCA terá que inclinar para reproduzir também a diagonal e então acabará sendo bem diferente da FA. Um exemplo é dado neste segmento: $\mathbf C$ $\mathbf W$

Por que o PCA e a análise fatorial retornam resultados diferentes neste exemplo?

— ameba
fonte

Em sua resposta, você afirma que `` minimizar '' produz as cargas de análise fatorial. (Eu interpreto como a norma quadrática de Frobenius.) Onde posso encontrar uma prova para essa afirmação? Para o PCA, isso segue o teorema de Eckart-Young, mas não vejo como isso se aplica à FA.

| | C - W W^{T} - Ψ | |^{2}

$||C−WW^T−\Psi||^2$

| | ∙ | |^{2}

$||\bullet||^2$

— stats

Relacionado, ttnphns afirma que minimizar é equivalente a minimizar . Como isso pode ser mostrado?

| | X - X_{k} | |^{2}

$||X−X_k||^2$

| | X^{T} X - X_{k}^{T} X_{k} | |^{2}

$||X^TX−X_k^TX_k||^2$

— stats

Para sua primeira pergunta. Sim, é a norma Frobenius. Ao contrário do PCA, a FA é mais uma estrutura do que um método definido com precisão; existem diferentes "métodos de extração de fatores", resultando em resultados não idênticos. Portanto, é claro que não pode haver nenhuma prova para todas as versões do FA. No entanto, um dos métodos mais antigos / mais simples / generalizados é encontrar e diretamente , minimizando essa função de custo (inicialize aleatoriamente, resolva via PCA, atualize etc. até convergência). Isso é chamado de método de "fator principal iterado" ou algo parecido. Então, nada resta a ser provado :)

W

$W$

Ψ

$\Psi$

Ψ

$\Psi$

W

$W$

Ψ

$\Psi$

— ameba

Para sua segunda pergunta. Não tenho certeza se isso é verdade em geral (talvez seja, talvez não), mas eu nunca o uso na minha resposta vinculada. Veja minha "Atualização 2" com cuidado, esta declaração não é necessária.

— Ameba