Por que as pontuações dos componentes principais não estão correlacionadas?

Suponha é uma matriz de dados centralizados na média. A matriz é , possui autovalores distintos e vetores próprios , ... , ortogonais. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

O $i$ ésimo componente principal (algumas pessoas os chamam de "pontuações") é o vetor $\mathbf z_i = \mathbf A\mathbf s_i$ . Em outras palavras, é uma combinação linear das colunas de $\mathbf A$ , onde os coeficientes são os componentes do $i$ -ésimo vector próprio de $\mathbf S$ .

Não entendo por que $\mathbf z_i$ e $\mathbf z_j$ acabam não sendo correlacionados para todos os $i\neq j$ . Isso do fato de que $\mathbf s_i$ e $\mathbf s_j$ são ortogonais? Certamente não, porque posso encontrar facilmente uma matriz $\mathbf B$ e um par de vetores ortogonais $\mathbf x, \mathbf y$ tal forma que $\mathbf B\mathbf x$ e $\mathbf B\mathbf y$ sejam correlacionados.

correlation pca linear-algebra

— Ernest A
fonte

Uma resposta relacionada stats.stackexchange.com/a/110546/3277 .

— Ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— ameba
fonte

Matemática: que linguagem linda.

— Néstor

Isso significa que e são ortogonais. Não correlacionado significa que isso deve ser verdadeiro: . Suponho que, de alguma maneira, e, em seguida, também impliquem que eles não estão correlacionados.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Bom ponto, @ Ernest. As médias são realmente zero, porque os dados foram centralizados na média (por sua suposição). Então todas as projeções devem ter média zero.

— Ameba 25/05

@ Quebra-cabeças porque , portanto .

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@ Ernest, não pude resistir em fornecer uma resposta que não contenha texto, mas talvez deva acrescentar que a razão subjacente pela qual os PCs não são correlacionados é que sua matriz de covariância é dada por na base de autovetores e, nessa base, se torna diagonal - - esse é o ponto principal da composição do eigend.

S

$S$

S

$S$

— Ameba