Por que os autovetores de PCA são ortogonais e qual a relação com as pontuações de PCA que não estão correlacionadas?

Estou lendo sobre o PCA e entendo a maior parte do que está acontecendo em termos de derivação, além da suposição de que os autovetores precisam ser ortogonais e como isso se relaciona com as projeções (pontuações do PCA) não correlacionadas? Tenho duas explicações fornecidas abaixo, que usam um link entre ortogonalidade e correlação, mas não conseguem realmente explicar: UM , DOIS .

Na segunda figura, diz que a condição é imposta para garantir que a projeção não seja correlacionada com . Alguém pode fornecer um exemplo para mostrar por que vetores ortogonais garantem variáveis ​​não correlacionadas?$a_{2}^{T}a_{1}=0$$y_{2}=Xa_2$$y_{1}=Xa_1$

O que aconteceria no PCA se eu escolhesse vetores que não são ortogonais; isso é possível? Li em outro lugar que a ortogonalidade é apenas um subproduto da matriz de covariância simétrica, o que sugere que não é possível ter autovetores ortogonais não pareados. No entanto, no primeiro quadro em busca da matriz mais 'adequado' parece quase como estamos escolhendo para ser ortogonal para nos dar uma matriz mais conveniente aquele que tem boas propriedades.$p_{1},\ldots,p_{m}$$\textbf{P}$

Eu li outros posts sobre esse tópico, mas fiquei insatisfeito com a incorporação da intuição com variáveis ​​não correlacionadas. Eu realmente aprecio qualquer ajuda para entender essa confusão !!

Vou tentar explicar como a ortogonalidade de e garante que e não sejam correlacionados. Queremos que maximize . Isso não será alcançado a menos que , neste caso por . Essa otimização exige o uso de um multiplicador de Lagrange (não é muito complicado, leia sobre isso na Wikipedia). Assim, tentamos maximizar com relação a e . Observe que a diferenciação em relação a$a_1$$a_2$$y_1$$y_2$$a_1$$Var(y_1)=a_1^T \Sigma a_1$$a_1$$a_1^T a_1=1$

$$\begin{equation} a_1^T \Sigma a_1 - \lambda(a_1^T a_1-1) \end{equation}$$ $a_1$$\lambda$$\lambda$e, em seguida, igualar a fornece nossa restrição . A diferenciação em relação a fornece ou variância de será maximizado pelo maior valor próprio . Assim, . Aí vem a parte que responderá à sua pergunta . Alguns cálculos elementares usando a definição de covariância mostrarão que $0$$a_1^T a_1=1$$a_1$ $$\begin{equation} \Sigma a_1 -\lambda a_1 =0 \end{equation}$$ $$\begin{equation} (\Sigma -\lambda I_p)a_1=0 \end{equation}$$ $y_1$$\lambda_1$$\lambda_1 a_1=\Sigma a_1$ $$\begin{equation} Cov(y_1,y_2)=Cov(a^T_1 x,a^T_2 x)=a^T_1\Sigma a_2=a^T_2\Sigma a_1=a^T_2\lambda_1 a_1=\lambda_1 a^T_2 a_1 \end{equation}$$ que será igual a se e somente se .$0$$a^T_2 a_1=0$

O PCA trabalha computando os autovetores da matriz de covariância dos dados. Ou seja, esses vetores próprios correspondem às opções de que maximizam as equações e atendem às restrições dadas em seu livro. Se você escolher vetores diferentes, eles não atenderiam a todos esses critérios e não seriam mais um PCA (você ainda encontraria vários "componentes", mas eles não seriam mais "principais").$a_{1:M}$

Os vetores próprios podem ser calculados a partir de qualquer matriz quadrada e não precisam ser ortogonais. No entanto, como qualquer matriz de covariância adequada é simétrica, e as matrizes simétricas têm vetores próprios ortogonais, o PCA sempre leva a componentes ortogonais.

A ortogonalidade de e não segue apenas o requisito de que - segue todas as restrições juntas. É fácil perceber por que a ortogonalidade de e não é suficiente, porque a base original na qual os dados são expressos também é ortogonal. Por exemplo, em 2 dimensões, você teria e e claramente seus dados não precisam ser não esteja correlacionado com essas dimensões (se elas fossem, seu PCA retornaria a base original, até um fator de escala).$y_1$$y_2$$a_1^Ta_2=0$$a_1$$a_2$$\mathbf{b}$$b_1=\begin{bmatrix}1\\ 0 \end{bmatrix}$$b_2=\begin{bmatrix}0\\ 1 \end{bmatrix}$

O texto está redigido um pouco desajeitadamente, mas acho que o "qual" em "que garante ..." se refere à cláusula inteira que veio antes.