Loadings vs autovetores no PCA: quando usar um ou outro?


67

Na análise de componentes principais (PCA), obtemos autovetores (vetores unitários) e autovalores. Agora, vamos definir loadings como

Loadings=EigenvectorsEigenvalues.

Eu sei que os autovetores são apenas direções e cargas (como definido acima) também incluem variação ao longo dessas direções. Mas, para meu melhor entendimento, gostaria de saber onde devo usar cargas em vez de vetores próprios? Um exemplo seria perfeito!

Geralmente, eu só vi pessoas usando autovetores, mas de vez em quando elas usam carregamentos (como definido acima) e então fico sentindo que realmente não entendo a diferença.

Respostas:


66

No PCA, você divide a matriz de covariância (ou correlação) em parte da escala (valores próprios) e parte da direção (vetores próprios). Em seguida, você pode dotar os autovetores da escala: loadings . Assim, as cargas são assim comparáveis ​​em magnitude com as covariâncias / correlações observadas entre as variáveis ​​- porque o que foi extraído da covariância das variáveis ​​agora retorna de volta - na forma de covariância entre as variáveis ​​e os componentes principais. Na verdade, as cargas são as covariâncias / correlações entre as variáveis ​​originais e os componentes em escala de unidade . Esta resposta mostra geometricamente o que são carregamentos e quais são os coeficientes que associam componentes a variáveis ​​na análise de PCA ou fator.

Carregamentos :

  1. Ajudá-lo a interpretar os principais componentes ou fatores; Porque eles são os pesos de combinação linear (coeficientes) pelos quais componentes ou fatores em escala de unidade definem ou "carregam" uma variável .

    (O vetor próprio é apenas um coeficiente de transformação ou projeção ortogonal , é desprovido de "carga" dentro de seu valor. "Carga" é (informação da quantidade de) variação, magnitude. PCs são extraídos para explicar a variação das variáveis. as variações de (= explicado por) PCs. Quando multiplicamos o vetor próprio por raiz quadrada do valor eiven, "carregamos" o coeficiente puro pela quantidade de variação. Por essa virtude, tornamos o coeficiente a medida de associação , co- variabilidade.)

  2. Às vezes, as cargas são "rotacionadas" (por exemplo, varimax) posteriormente para facilitar a interpretabilidade ( consulte também );

  3. São as cargas que "restauram" a matriz de covariância / correlação original (veja também este tópico discutindo as nuances de PCA e FA nesse sentido);

  4. Enquanto no PCA é possível calcular valores de componentes tanto de vetores próprios quanto de cargas, na análise fatorial você calcula as pontuações dos fatores a partir das cargas .

  5. E, acima de tudo, a matriz de carregamento é informativa: suas somas verticais de quadrados são os autovalores, variações de componentes e suas somas horizontais de quadrados são partes das variações de variáveis ​​que são "explicadas" pelos componentes.

  6. Carga reescalonada ou padronizada é a carga dividida pelo st da variável desvio; é a correlação. (Se o seu PCA for um PCA baseado em correlação, o carregamento será igual ao redimensionado, porque o PCA baseado em correlação é o PCA em variáveis ​​padronizadas.) O carregamento redimensionado ao quadrado tem o significado da contribuição de um pr. componente em uma variável; se for alto (próximo a 1), a variável é bem definida apenas por esse componente.

Um exemplo de cálculos feitos em PCA e FA para você ver .

Os autovetores são cargas em escala de unidade; e são os coeficientes (cossenos) da transformação ortogonal (rotação) de variáveis ​​em componentes principais ou vice-versa. Portanto, é fácil calcular os valores dos componentes (não padronizados) com eles. Além disso, seu uso é limitado. O valor do vetor próprio quadrado ao significado da contribuição de uma variável para um pr. componente; se for alto (próximo a 1), o componente será bem definido apenas por essa variável.

Embora vetores próprios e cargas sejam simplesmente duas maneiras diferentes de normalizar coordenadas dos mesmos pontos que representam colunas (variáveis) dos dados em um biplot , não é uma boa idéia misturar os dois termos. Esta resposta explicou o porquê. Veja também .


3
eigenvalues

11
Nota lateral: Na quimiometria, o cálculo das pontuações dos dados originais é de grande importância, pois muitos modelos preditivos usam a rotação do PCA (!) Para pré-processamento; portanto, o uso limitado de cargas é o meu principal uso para o PCA.
Cbeleites 29/03/2015

2
@cbeleites, Não é apenas possível que as convenções terminológicas do PCA / FA possam diferir em diferentes campos (ou em diferentes softwares ou livros) - afirmo que elas diferem. Na psicologia e no comportamento humano, "cargas" são geralmente o que eu chamo de nome (cargas são muito importantes nesses campos porque a interpretação dos latentes está pendente, enquanto as pontuações podem ser reduzidas, padronizadas e ninguém se importa). Por outro lado, muitos Rusuários neste site chamaram os autovetores da PCA de "cargas", que provavelmente podem vir da documentação da função.
ttnphns

(cont.) O pior de tudo é que a palavra "loadings" está sendo usada em outras técnicas (LDA, correlações canônicas etc.) não exatamente no mesmo significado que no PCA. Portanto, a própria palavra está comprometida. Eu concordo com @amoeba, que supõe que ela seja totalmente descartada e substituída por termos estatisticamente precisos, como "correlações" ou "coeficientes". Por outro lado, os "vetores próprios" parecem estar confinados à decomposição de svd / eigen e a alguns métodos de escurecimento. a redução não realiza as mesmas ou em sua forma clássica.
ttnphns

11
Você deve estar se misturando. Quando você calcula corretamente as pontuações do PC com a ajuda de cargas, você acaba com componentes simplesmente padronizados. Você não calcula essas pontuações pela mesma fórmula que faz com os vetores próprios; em vez disso, você deve usar as fórmulas descritas no link do meu número 4.
precisa saber é o seguinte

3

Parece haver muita confusão sobre cargas, coeficientes e autovetores. A palavra loadings vem da análise fatorial e refere-se aos coeficientes da regressão da matriz de dados para os fatores. Eles não são os coeficientes que definem os fatores. Veja, por exemplo, Mardia, Bibby e Kent ou outros livros de estatística multivariados.

Nos últimos anos, a palavra loadings foi usada para indicar os coeficientes dos PCs. Aqui parece que costumava indicar os coeficientes multiplicados pelo sqrt dos autovalores da matriz. Essas não são quantidades comumente usadas no PCA. Os principais componentes são definidos como a soma das variáveis ​​ponderadas com os coeficientes da norma unitária. Dessa maneira, os PCs têm norma igual ao valor próprio correspondente, que por sua vez é igual à variação explicada pelo componente.

É na Análise Fatorial que os fatores são necessários para ter a norma da unidade. Mas FA e PCA são completamente diferentes. A rotação do coeficiente dos PCs raramente é realizada porque destrói a otimização dos componentes.

Na FA, os fatores não são definidos de forma única e podem ser estimados de diferentes maneiras. As quantidades importantes são as cargas (as verdadeiras) e as comunidades que são usadas para estudar a estrutura da matriz de covariância. PCA ou PLS deve ser usado para estimar componentes.


2
Essa resposta, correta em aspectos particulares (+1), ignora que tanto a FA como a PCA podem ser vistas e são comparáveis (embora sejam distintas) como previsão de variáveis ​​manifestas pelos fatores / componentes (a última unidade obtida em escala). As cargas são os coeficientes dessa previsão. Portanto, os carregamentos são usados ​​e são termos válidos, significando a mesma coisa, nos campos FA e PCA.
ttnphns

3
Além disso, é uma pena que algumas fontes (particularmente a documentação R) chamem descuidadamente os coeficientes de vetores próprios de "loadings" - eles não contêm carga neles.
ttnphns

É que FA e PCA estão estimando um modelo diferente. Na FA, os erros são ortogonais no PCA, não são. Não vejo muito sentido em comparar os resultados, a menos que alguém esteja pescando um modelo. Loadings são as colunas da matriz Lque são usadas para escrever a matriz de covariância como S = LL' + Conde Cestá uma matriz diagonal. eles não têm nada a ver com os coeficientes dos PCs.
Marco Stamazza

they have nothing to do with the PCs' coefficientsComputamos carregamentos no PCA, como fazemos na FA. Os modelos são diferentes, mas o significado das cargas é semelhante nos dois métodos.
ttnphns

0
In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as 

Carregamentos = Autovetores ortogonais⋅ Raiz quadrada de (valores de Eigen absolutos) Aqui os vetores autônomos ortonormais (ou seja, o termo vetores autônomos ortonormais) fornecem uma direção e o termo Raiz quadrada de (valores de Eigen absolutos) fornece o valor.

Normalmente, as pessoas dizem que os sinais nas cargas não são importantes, mas sua magnitude é importante. Mas se invertermos a direção de um vetor eigen (mantendo o sinal de outros vetores eigen), os escores dos fatores serão alterados. Portanto, a análise adicional será afetada significativamente.

Até agora, não consegui encontrar uma solução satisfatória para essa ambiguidade.


0

Parece haver alguma confusão sobre esse assunto, por isso fornecerei algumas observações e um apontador para onde uma excelente resposta pode ser encontrada na literatura.

Em primeiro lugar, PCA e análise fatorial (FA) estão relacionados. Em geral, os principais componentes são ortogonais por definição, enquanto os fatores - a entidade análoga na FA - não são. Simplificando, os componentes principais abrangem o espaço fatorial de maneira arbitrária, mas não necessariamente útil, devido ao fato de serem derivados da pura análise própria dos dados. Os fatores, por outro lado, representam entidades do mundo real que são apenas ortogonais (isto é, não correlacionadas ou independentes) por coincidência.

Digamos que tomemos as observações de cada um dos l assuntos. Estes podem ser organizados em uma matriz de dados D com s linhas e l colunas. D pode ser decomposto em uma matriz de pontuação S e uma matriz de carregamento L de modo que D = SL . S terá s linhas e L terá l colunas, sendo a segunda dimensão de cada um o número de fatores n . O objetivo da análise fatorial é decompor Dde maneira a revelar as pontuações e fatores subjacentes. As cargas em L nos dizer a proporção de cada pontuação que compõem as observações em D .

No PCA, L tem os vetores próprios da matriz de correlação ou covariância de D como suas colunas. Estes são organizados convencionalmente em ordem decrescente dos valores próprios correspondentes. O valor de n - ou seja, o número de componentes principais significativos a serem retidos na análise e, portanto, o número de linhas de L - é normalmente determinado pelo uso de um gráfico de scree dos valores próprios ou de um dos vários outros métodos encontrados em a literatura. As colunas de S no PCA formam os n componentes principais abstratos. O valor de n é a dimensionalidade subjacente do conjunto de dados.

O objecto de análise factorial é transformar os componentes sumário em factores significativos através do uso de uma matriz de transformação T tal que D = STT -1 G . ( ST ) é a matriz de pontuação transformada e ( T -1 L ) é a matriz de carga transformada.

A explicação acima segue aproximadamente a notação de Edmund R. Malinowski em sua excelente Análise Fatorial em Química . Eu recomendo os capítulos iniciais como uma introdução ao assunto.


Esta resposta parece ter vários problemas. Primeiro, verifique suas fórmulas, por favor, elas não estão corretas. Segundo, você está tentando discutir diferenças entre FA e PCA. Temos um tópico longo separado no CV para isso, enquanto o tópico atual é sobre cargas versus vetores próprios, portanto a resposta é equivocada. Terceiro, sua imagem da FA é distorcida, especialmente em frases como "o objetivo da FA é decompor D" ou "o objetivo da FA é transformar os componentes abstratos em fatores significativos".
ttnphns

Considero que o material que publiquei é relevante para a discussão neste tópico e oferece uma explicação da relação entre carregamentos e vetores próprios.
precisa

Minha pesquisa sobre o assunto está resumida neste artigo: onlinelibrary.wiley.com/doi/10.1002/sia.740231303/full
Matt Wenham

OK, talvez sua conta ainda seja especial e válida - não posso dizer sem ler as fontes que você oferece. No entanto, eu observaria que a "relação" entre carregamentos e vetores próprios no PCA está toda em sua fórmula colocada na questão; portanto, dificilmente há algo a ser "explicado" (explicado deve ser a utilidade diferente deles). Outra coisa a destacar é que o Q é principalmente sobre PCA, não FA. E, no final, nem todo método de AF lida com vetores próprios, enquanto necessariamente lida com cargas.
ttnphns

Desculpas, acho que não há uma versão disponível publicamente do meu artigo, embora você possa acessar o Deepdyve.com com um teste de duas semanas. O primeiro capítulo do livro de Malinowski está disponível no link acima. Isso abrange o básico, sem mencionar a análise própria. Devo admitir que não sabia que a análise fatorial poderia ser feita sem análise própria, como a variante que eu usei - análise fatorial alvo -.
precisa

-1

Estou um pouco confuso com esses nomes e procurei no livro "Métodos Estatísticos na Ciência Atmosférica", e ele me deu um resumo da terminologia variada da PCA, aqui estão as capturas de tela do livro, espero que ajude.

insira a descrição da imagem aqui

insira a descrição da imagem aqui

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.