Compreensão geométrica do PCA no espaço sujeito (duplo)

Estou tentando obter uma compreensão intuitiva de como a análise de componentes principais (PCA) funciona no espaço sujeito (duplo) .

Considere o conjunto de dados 2D com duas variáveis, $x_1$ e $x_2$ , e $n$ pontos de dados (a matriz de dados $\mathbf X$ é $n\times 2$ e assume-se centralizada). A apresentação usual da PCA é que nós consideramos $n$ pontos em $\mathbb R^2$ , anote a $2\times 2$ matriz de covariância, e encontrar seus autovetores e autovalores; o primeiro PC corresponde à direção da variação máxima, etc. Aqui está um exemplo com a matriz de covariância $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$. Linhas vermelhas mostram autovetores escalados pelas raízes quadradas dos respectivos autovalores.

$\hskip 1in$

Agora considere o que acontece no espaço de assunto (eu aprendi esse termo com @ttnphns), também conhecido como espaço duplo (o termo usado no aprendizado de máquina). Este é um espaço dimensional onde as amostras de nossas duas variáveis ​​(duas colunas de X ) formam dois vetores x 1 e x 2 . O comprimento ao quadrado de cada vetor variável é igual à sua variância, o cosseno do ângulo entre os dois vetores é igual à correlação entre eles. Essa representação, a propósito, é muito padrão em tratamentos de regressão múltipla. No meu exemplo, o espaço do assunto se parece com isso (apenas mostro o plano 2D estendido pelos dois vetores variáveis):$n$$\mathbf X$$\mathbf x_1$$\mathbf x_2$

$\hskip 1in$

Os componentes principais, sendo linear combinações das duas variáveis, irá formar dois vectores e p 2 no mesmo plano. Minha pergunta é: qual é a compreensão / intuição geométrica de como formar vetores variáveis ​​de componentes principais usando os vetores variáveis ​​originais nesse gráfico? Dado x 1 e x 2 , que procedimento geométrico produziria p 1 ?$\mathbf p_1$$\mathbf p_2$$\mathbf x_1$$\mathbf x_2$$\mathbf p_1$

---

Abaixo está o meu entendimento parcial atual.

Antes de tudo, eu posso calcular os principais componentes / eixos através do método padrão e plotá-los na mesma figura:

$\hskip 1in$

Além disso, podemos observar que é escolhido de tal forma que a soma das distâncias ao quadrado entre x i (vetores azuis) e suas projeções em p 1 é mínima; essas distâncias são erros de reconstrução e são mostradas com linhas tracejadas pretas. Equivalentemente, p 1 maximiza a soma dos comprimentos ao quadrado de ambas as projeções. Isso especifica totalmente p 1 e, é claro, é completamente análogo à descrição semelhante no espaço primário (veja a animação na minha resposta para Compreender a análise de componentes principais, vetores próprios e valores próprios ). Veja também a primeira parte da resposta @ ttnphns'es aqui .$\mathbf p_1$$\mathbf x_i$$\mathbf p_1$$\mathbf p_1$$\mathbf p_1$

No entanto, isso não é geométrico o suficiente! Ele não me diz como encontrar esse e não especifica seu comprimento.$\mathbf p_1$

Meu suposição é de que , X 2 , p 1 e p 2 todos encontram-se em uma elipse centrado em 0 com p 1 e p 2 sendo os seus eixos principais. Aqui está como fica no meu exemplo:$\mathbf x_1$$\mathbf x_2$$\mathbf p_1$$\mathbf p_2$$0$$\mathbf p_1$$\mathbf p_2$

$\hskip 1in$

Q1: como provar isso? A demonstração algébrica direta parece ser muito entediante; como ver que esse deve ser o caso?

Mas existem muitas elipses diferentes centradas em e passando por x 1 e x 2 :$0$$\mathbf x_1$$\mathbf x_2$

$\hskip 1in$

P2: O que especifica a elipse "correta"? Meu primeiro palpite foi que é a elipse com o maior eixo principal possível; mas parece estar errado (existem elipses com o eixo principal de qualquer comprimento).

Se houver respostas para Q1 e Q2, também gostaria de saber se elas generalizam para o caso de mais de duas variáveis.

Todos os resumos de exibidos na pergunta dependem apenas de seus segundos momentos; ou, de modo equivalente, na matriz X ' X . Porque estamos pensando em X como um ponto de nuvem ponto --cada é uma linha de X --nós pode perguntar o que simples operações sobre esses pontos preservar as propriedades de X ' X .$\mathbf X$$\mathbf{X^\prime X}$$\mathbf X$$\mathbf X$$\mathbf{X^\prime X}$

Um é para a esquerda-multiplicam por um n × n matriz de L , o qual iria produzir uma outra n × 2 matriz U X . Para que isso funcione, é essencial que$\mathbf X$$n\times n$$\mathbf U$$n\times 2$$\mathbf{UX}$

$$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$$

A igualdade é garantida quando é o n × n matriz identidade: isto é, quando U é ortogonal .$\mathbf{U^\prime U}$$n\times n$$\mathbf{U}$

É bem conhecido (e fácil demonstrar) que as matrizes ortogonais são produtos de reflexões Euclidiana e rotações (eles formam um grupo de reflexão em ). Ao escolher rotações com sabedoria, podemos simplificar dramaticamente X . Uma idéia é focar em rotações que afetam apenas dois pontos na nuvem por vez. Estes são particularmente simples, porque podemos visualizá-los.$\mathbb{R}^n$$\mathbf{X}$

Especificamente, deixe e ( X j , y j ) ser dois pontos diferentes de zero distintas na nuvem, que constituem linhas de i e j de X . Uma rotação do espaço coluna R n afectando apenas estes dois pontos converte-os em$(x_i, y_i)$$(x_j, y_j)$$i$$j$$\mathbf{X}$$\mathbb{R}^n$

$$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$$

O que isso significa é desenhar os vetores e ( y i , y j ) no plano e girá-los pelo ângulo θ . (Observe como as coordenadas são misturadas aqui! Os x combinam e os y combinam. Assim, o efeito dessa rotação em R n geralmente não se parece com uma rotação dos vetores ( x i , y i ) e ( x j , y j$(x_i, x_j)$$(y_i, y_j)$$\theta$$x$$y$$\mathbb{R}^n$$(x_i, y_i)$$(x_j, y_j)$ como desenhado em $\mathbb{R}^2$ ).

Ao escolher o ângulo certo, podemos zerar qualquer um desses novos componentes. Para ser concreto, vamos escolher para que$\theta$

$$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$$

Isso faz . Escolha o sinal para fazer y ′ j ≥ 0 . Vamos chamar esta operação, que muda pontos i e j na nuvem representado por X , γ ( i , j ) .$x_j^\prime=0$$y_j^\prime \ge 0$$i$$j$$\mathbf X$$\gamma(i,j)$

A aplicação recursiva de a X fará com que a primeira coluna de X seja diferente de zero somente na primeira linha. Geometricamente, teremos movido todos, exceto um ponto na nuvem, para o eixo y . Agora podemos aplicar uma única rotação, potencialmente envolvendo as coordenadas 2 , 3 , … , n em R n , para comprimir essas $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$$\mathbf{X}$$\mathbf{X}$$y$$2, 3, \ldots, n$$\mathbb{R}^n$ ponto até um único ponto. Equivalentemente, X foi reduzido para uma forma de bloco$n-1$$X$

$$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$$

com e z ambos os vetores de coluna com coordenadas n - 1 , de tal maneira que$\mathbf{0}$$\mathbf{z}$$n-1$

$$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$$

Essa rotação final reduz ainda mais à sua forma triangular superior$\mathbf{X}$

$$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$$

Com efeito, podemos agora compreender em termos de muito mais simples 2 × 2 da matriz ( x ' 1 y ' 1 0 | | z | | ) criado pelos dois últimos pontos diferentes de zero de pé esquerdo.$\mathbf{X}$$2\times 2$$\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

Para ilustrar, tirei quatro pontos de iid de uma distribuição normal bivariada e arredondei seus valores para

$$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$$

Essa nuvem de pontos inicial é mostrada à esquerda da próxima figura usando pontos pretos sólidos, com setas coloridas apontando da origem para cada ponto (para nos ajudar a visualizá-los como vetores ).

$\gamma(1,2), \gamma(1,3),$ and $\gamma(1,4)$ results in the clouds shown in the middle. At the very right, the three points lying along the $y$ axis have been coalesced into a single point, leaving a representation of the reduced form of $\mathbf X$. The length of the vertical red vector is $||\mathbf{z}||$; the other (blue) vector is $(x_1^\prime, y_1^\prime)$.

Notice the faint dotted shape drawn for reference in all five panels. It represents the last remaining flexibility in representing $\mathbf X$: as we rotate the first two rows, the last two vectors trace out this ellipse. Thus, the first vector traces out the path

$$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$$

while the second vector traces out the same path according to

$$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$$

We may avoid tedious algebra by noting that because this curve is the image of the set of points $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$ under the linear transformation determined by

$$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$$

it must be an ellipse. (Question 2 has now been fully answered.) Thus there will be four critical values of $\theta$ in the parameterization $(1)$, of which two correspond to the ends of the major axis and two correspond to the ends of the minor axis; and it immediately follows that simultaneously $(2)$ gives the ends of the minor axis and major axis, respectively. If we choose such a $\theta$, the corresponding points in the point cloud will be located at the ends of the principal axes, like this:

Because these are orthogonal and are directed along the axes of the ellipse, they correctly depict the principal axes: the PCA solution. That answers Question 1.

---

The analysis given here complements that of my answer at Bottom to top explanation of the Mahalanobis distance. There, by examining rotations and rescalings in $\mathbb{R}^2$, I explained how any point cloud in $p=2$ dimensions geometrically determines a natural coordinate system for $\mathbb{R}^2$. Here, I have shown how it geometrically determines an ellipse which is the image of a circle under a linear transformation. This ellipse is, of course, an isocontour of constant Mahalanobis distance.

Another thing accomplished by this analysis is to display an intimate connection between QR decomposition (of a rectangular matrix) and the Singular Value Decomposition, or SVD. The $\gamma(i,j)$ are known as Givens rotations. Their composition constitutes the orthogonal, or "$Q$", part of the QR decomposition. What remained--the reduced form of $\mathbf{X}$--is the upper triangular, or "$R$" part of the QR decomposition. At the same time, the rotation and rescalings (described as relabelings of the coordinates in the other post) constitute the $\mathbf{D}\cdot \mathbf{V}^\prime$ part of the SVD, $\mathbf{X} = \mathbf{U\, D\, V^\prime}$. The rows of $\mathbf{U}$, incidentally, form the point cloud displayed in the last figure of that post.

Finally, the analysis presented here generalizes in obvious ways to the cases $p\ne 2$: that is, when there are just one or more than two principal components.