Linearidade do PCA

35

O PCA é considerado um procedimento linear, no entanto:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

onde . Isto quer dizer que os autovetores obtidos pelos PCAs nas matrizes de dados não resumir para igualar os autovetores obtidos pela PCA na soma dos dados matrizes . Mas não é a definição de uma função linear que: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Então, por que o PCA é considerado "linear" se não satisfaz essa condição muito básica de linearidade?

pca linear

— Alfa Ômega
fonte

Certa vez, escrevi ou ouvi (desculpe, não me lembro onde ou quando), que o PCA "pertence à família de procedimentos lineares" porque depende de dependências lineares entre variáveis. Ele usa a matriz de correlação de Pearson e busca combinações lineares de maior variância.

— Łukasz Deryło 10/07

4

A natureza dessa questão pode se tornar um pouco mais clara ao contemplar a configuração muito mais simples e rotineira da regressão de mínimos quadrados ordinários: esse é o arquétipo de um procedimento estatístico linear. No entanto, o processo de estimativa de mínimos quadrados coeficientes é uma função não linear manifestamente da matriz de dados de

, como atestado pela fórmula

. (Observe que é uma função linear do vetor de resposta

.)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Vale a pena lembrar que f (x) = x + 1 também é uma "função linear" ... mas não satisfaz o que você acabou de dizer ... o que deve explicar alguma coisa.

— Mehrdad

Isso ocorre porque

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

Quando dizemos que PCA é um método linear, nos referimos ao mapeamento de redução de dimensionalidade do espaço de alta dimensão para um espaço de dimensão inferior . No PCA, esse mapeamento é dado pela multiplicação de pela matriz dos vetores próprios do PCA e, portanto, é manifestamente linear (a multiplicação da matriz é linear): Isso contrasta com os métodos não lineares de redução de dimensionalidade , onde o mapeamento de redução de dimensionalidade pode ser não linear. $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

Por outro lado, os melhores vectores próprios são calculados a partir dos dados de matriz usando o que chamado de na sua pergunta: e esse mapeamento é certamente não linear: envolve a computação de vetores próprios da matriz de covariância, que é um procedimento não linear. (Como um exemplo trivial, multiplicando por $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ aumenta a matriz de covariância em

, mas seus vetores próprios permanecem os mesmos, pois são normalizados para ter comprimento unitário.)

4

$4$

— ameba diz Restabelecer Monica
fonte

O fato de eu ter recebido 35 votos positivos para esta resposta trivial é bastante ridículo (e é principalmente devido a esse tópico estar nas Perguntas da Hot Network por um tempo).

— Ameba diz Reinstate Monica

5

"Linear" pode significar muitas coisas e não é empregado exclusivamente de maneira formal.

O PCA geralmente não é definido como uma função no sentido formal e, portanto, não é esperado que atenda aos requisitos de uma função linear quando descrito como tal. É mais frequentemente descrito, como você disse, como um procedimento e, às vezes, como um algoritmo (embora eu não goste desta última opção). Diz-se frequentemente que é linear de uma maneira informal, não bem definida.

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— broncoAbierto
fonte

3

O PCA fornece / é uma transformação linear.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Como comparação, um exemplo muito simples de um processo que usa uma transformação linear, mas não é uma transformação linear em si:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

e

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

mas

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

essa duplicação do ângulo, que envolve o cálculo de ângulos, não é linear e é análoga à afirmação da ameba, de que o cálculo do vetor próprio não é linear

— Sextus Empiricus
fonte