Confusos sobre a explicação visual dos vetores próprios: como os conjuntos de dados visualmente diferentes podem ter os mesmos vetores próprios?

Muitos livros didáticos de estatística fornecem uma ilustração intuitiva de quais são os vetores próprios de uma matriz de covariância:

insira a descrição da imagem aqui

Os vetores u e z formam os vetores próprios (bem, eigenaxes). Isso faz sentido. Mas a única coisa que me confunde é que extraímos autovetores da matriz de correlação , não os dados brutos. Além disso, conjuntos de dados brutos bastante diferentes podem ter matrizes de correlação idênticas. Por exemplo, os dois a seguir têm matrizes de correlação de:

[\begin{matrix} 1 & 0.97 \\ 0.97 & 1 \end{matrix}]

$\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right]$

Autovetores

Como tal, eles têm vetores próprios apontando na mesma direção:

[\begin{matrix} .71 & - .71 \\ .71 & .71 \end{matrix}]

$\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right]$

Mas se você aplicasse a mesma interpretação visual de quais direções os vetores próprios estavam nos dados brutos, você obteria vetores apontando em direções diferentes.

Alguém pode me dizer onde eu errei?

Segunda Edição : Se posso ser tão ousado, com as excelentes respostas abaixo, pude entender a confusão e ilustrá-la.

A explicação visual é coerente com o fato de que os vetores próprios extraídos da matriz de covariância são distintos.

Covariâncias e autovetores (vermelho):

$[\begin{matrix} 1 1 & 1 1 \\ 1 1 & 1 1 \end{matrix}] [\begin{matrix} .7 & - .72 \\ .72 & .7 \end{matrix}]$ $\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$
Covariâncias e autovetores (azul):

$[\begin{matrix} 0,25 & .5 \\ .5 & 1 1 \end{matrix}] [\begin{matrix} .43 & - .9 \\ .9 & .43 \end{matrix}]$ $\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$
Matrizes de correlação refletem as matrizes de covariância das variáveis padronizadas. A inspeção visual das variáveis padronizadas demonstra por que autovetores idênticos são extraídos no meu exemplo:

insira a descrição da imagem aqui

— Sue Doh Nimh
fonte

Se você deseja avaliar a correlação , deve desenhar seus gráficos de dispersão com escalas nas quais os desvios padrão dos componentes são iguais. Esse não é o caso em nenhuma das suas imagens (exceto talvez pelos pontos vermelhos na segunda), que pode ser uma das razões pelas quais você acha isso confuso.

— whuber

Agradeço por ter ilustrado sua pergunta. Isso ajuda as pessoas a entendê-lo e aumenta o valor do segmento para referência futura. Esteja ciente, no entanto, que ~ 10% dos homens são daltônicos em verde-vermelho. Com 2 cores, vermelho e azul podem ser mais seguros.

— gung - Restabelece Monica

Muito obrigado, eu corrigi as cores como você sugeriu #

— Sue Doh Nimh

Não tem problema, @SueDohNimh. Obrigado por torná-lo inteligível para todos. Em uma nota diferente, eu manteria a [PCA]etiqueta. Se você deseja focar novamente a pergunta ou fazer uma nova pergunta (relacionada) e vincular a esta, isso parece bom, mas acho que essa pergunta é PCA-ish o suficiente para merecer a tag.

— gung - Restabelece Monica

Bom trabalho, @SueDohNimh. Você também pode adicionar isso como resposta à sua própria pergunta, em vez de editar, se quiser.

— gung - Restabelece Monica

Você não precisa fazer o PCA sobre a matriz de correlação; você também pode decompor a matriz de covariância. Note que estes normalmente produzem soluções diferentes. (Para mais informações, consulte: PCA sobre correlação ou covariância? )

${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

Novamente, se você executar o PCA com esses grupos usando as matrizes de covariância, obterá um resultado diferente do que se usasse as matrizes de correlação.

— - Reinstate Monica
fonte

(1, 1)

$(1,1)$

(1, - 1)

$(1,-1)$

+1 ao que @whuber escreveu, mas observe que os autovalores correspondentes dependem do valor de correlação.

— Ameba

Isso é verdade, mas os vetores próprios da matriz Cov podem variar com base na correlação.

— gung - Restabelece Monica

Oi pessoal, muito obrigado. Eu sabia que diferentes vetores próprios surgem do uso das matrizes de covariância; essa foi outra fonte de preocupação, pois me preocupei que, ao usar matrizes de correlação, estivesse reduzindo as informações que estavam sendo usadas e, portanto, menos precisas. Seria sensato concluir, com base em suas respostas, que a interpretação visual fornecida é realmente aplicável apenas aos vetores próprios da matriz de covariância dos dados brutos, em vez da matriz de correlação?

— Sue Doh Nimh

Na verdade, não @SueDohNimh. Você pode usar a interpretação visual, apenas padronize suas variáveis primeiro se desejar usar a matriz de correlação.

— gung - Restabelece Monica