Qual é a diferença entre "cargas" e "cargas de correlação" no PCA e PLS?

Uma coisa comum a se fazer ao fazer a Análise de Componentes Principais (PCA) é plotar duas cargas uma contra a outra para investigar os relacionamentos entre as variáveis. No artigo que acompanha o pacote PLS R para fazer a regressão de componentes principais e a regressão PLS, há um gráfico diferente, chamado gráfico de cargas de correlação (consulte a figura 7 e a página 15 no artigo). A carga de correlação , como é explicado, é a correlação entre as pontuações (do PCA ou PLS) e os dados reais observados.

Parece-me que os carregamentos e os carregamentos de correlação são bastante semelhantes, exceto que eles são dimensionados de maneira um pouco diferente. Um exemplo reproduzível em R, com o mtcars do conjunto de dados incorporado, é o seguinte:

data(mtcars)
pca <- prcomp(mtcars, center=TRUE, scale=TRUE)

#loading plot
plot(pca$rotation[,1], pca$rotation[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Loadings for PC1 vs. PC2')

#correlation loading plot
correlationloadings <- cor(mtcars, pca$x)
plot(correlationloadings[,1], correlationloadings[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Correlation Loadings for PC1 vs. PC2')

loadingplot correloadloadinsplot

Qual é a diferença na interpretação dessas parcelas? E qual trama (se houver) é melhor usar na prática?

— user1593755
fonte

para uma melhor visualização do pca, use o biplot (pca), ele mostra o carregamento e as pontuações do pca e para que você possa interpretá-lo melhor.

— Paul

R prcomppacote imprudentemente chama autovetores "loadings". Eu aconselho a manter esses termos separados. As cargas são vetores próprios dimensionados para os respectivos valores próprios.

— ttnphns

Explicando a geometria de um gráfico de carregamento: stats.stackexchange.com/a/119758/3277

— ttnphns

Aviso: Rusa o termo "cargas" de uma maneira confusa. Eu explico abaixo.

$\mathbf{X}$ $N$ $\mathbf{X} = \mathbf{U} \mathbf{S} \mathbf{V}^\top$ $\mathbf{US}$ $\mathbf{V}$ $\frac{1}{N-1}\mathbf{X}^\top\mathbf{X} = \mathbf{V}\frac{\mathbf{S}^2}{{N-1}}\mathbf{V}^\top$ $\mathbf{V}$

$\mathbf{L}=\mathbf{V}\frac{\mathbf S}{\sqrt{N-1}}$

\frac{1}{N - 1} X^{⊤} (\sqrt{N - 1} U) = \frac{1}{\sqrt{N - 1}} V S U^{⊤} U = \frac{1}{\sqrt{N - 1}} V S = L,

$\frac{1}{N-1}\mathbf{X}^\top(\sqrt{N-1}\mathbf{U}) = \frac{1}{\sqrt{N-1}}\mathbf{V}\mathbf{S}\mathbf{U}^\top\mathbf{U} = \frac{1}{\sqrt{N-1}}\mathbf{V}\mathbf{S}=\mathbf{L},$

1

$1$

L

$\mathbf{L}$

Para esclarecer a confusão terminológica: o que o pacote R chama de "carregamentos" são os principais eixos e o que chama de "carregamentos de correlação" são (para PCA feitos na matriz de correlação) em carregamentos de fato. Como você percebeu, eles diferem apenas na escala. O que é melhor traçar depende do que você deseja ver. Considere um exemplo simples a seguir:

Biplots

$\mathbf{V}$ $x$ $y$ $\mathbf{L}$ $x$ $y$ $x$ $y$ são muito mais fortes correlacionados com o PC1 do que com o PC2. Eu acho que a maioria das pessoas na maioria das vezes preferem ver o tipo certo de biplot.

$x$ $y$ $1$

Vamos agora dar uma outra olhada no conjunto de dados mtcars . Aqui está um biplot do PCA feito na matriz de correlação:

mtcars pca biplot

$\mathbf{V}$ $\mathbf{L}$

E aqui está um biplot do PCA feito na matriz de covariância:

mtcars pca biplot

$100$ $\mathbf{V}$ $\mathbf{L}$

PS Existem muitas variantes diferentes de biplots PCA, veja minha resposta aqui para obter mais explicações e uma visão geral: Posicionando as setas em um biplot PCA . O biplot mais bonito já publicado no CrossValidated pode ser encontrado aqui .

— ameba diz Restabelecer Monica
fonte

Embora essa seja uma resposta muito boa (+1), ela possui apenas uma fraqueza didática, na medida em que coloca variáveis nas linhas de X, não nas colunas de X, como seria tradicional nos conjuntos / exemplos de dados estatísticos. Por causa dessa transposição, os vetores U tornam-se na resposta sobre variáveis e V sobre casos. A maioria das pessoas que conhece o PCA está acostumada ao layout oposto; então isso atrapalha um pouco a percepção.

— ttnphns

Eu poderia recomendar enfatizar verbalmente a "moral" da diferença entre os "eixos biplot" e os "biplot loadings" na varredura. No primeiro, a variabilidade (= escala, = magniduta, = inércia, = massa) não é apresentada: é armazenada em valores próprios. No segundo, foi totalmente entregue a autovetores representando variáveis; em virtude desse "reavivamento", as variáveis se tornam uma nuvem de dados significativa de dois pontos, ou vetores, com comprimentos específicos da origem e do ângulo específico. É assim que "de repente" nos encontramos no espaço sujeito .

— ttnphns

X

$\mathbf X$

x

$\mathbf x$

U

$\mathbf U$

U x

$\mathbf U \mathbf x$

X

$\mathbf X$

U X

$\mathbf U\mathbf X$

X

$\mathbf X$

X U^{⊤}

$\mathbf X \mathbf U^\top$

É claro que isso é uma questão de gosto. Lembre-se, no entanto, de que a grande maioria dos programas estatísticos mostra planilhas de dados como cases X variables. Por tradição, então, a álgebra linear na maioria dos textos de análise estatística transforma um caso em vetor de linha. Talvez no aprendizado de máquina seja diferente?

— ttnphns

@user_anon Não, esta resposta considera o PCA padrão, sem rotações de fatores.

— Ameba diz Reinstate Monica