Análise de componentes principais “invertida”: quanta variação dos dados é explicada por uma dada combinação linear das variáveis?

I ter realizado uma análise de componentes principais de seis variáveis , , , , e . Se entendi corretamente, o PC1 não rotacionado me diz qual combinação linear dessas variáveis descreve / explica a maior variação nos dados e o PC2 me diz qual combinação linear dessas variáveis descreve a próxima maior variação nos dados e assim por diante. $A$ $B$ $C$ $D$ $E$ $F$

Só estou curioso - existe alguma maneira de fazer isso "ao contrário"? Digamos que eu escolha alguma combinação linear dessas variáveis - por exemplo, , posso calcular quanta variação nos dados isso descreve? $A+2B+5C$

— N26
fonte

Estritamente, PC2 é a combinação linear ortogonal a PC1 que descreve a próxima maior variação nos dados.

— Henry

Você está tentando estimar ?

V a r (A + 2 B + 5 C)

$Var(A+2B+5C)$

— vqv

Todas as respostas legais (três + 1s). Estou curioso sobre a opinião das pessoas sobre se o problema formulado é solucionável por meio de abordagens de variáveis latentes (SEM / LVM), se considerarmos uma ou mais variáveis latentes "uma combinação linear das variáveis".

— Aleksandr Blekh

@ Aleksandr, minha resposta está realmente diretamente em desacordo com os outros dois. Editei minha resposta para esclarecer a discordância (e planejo editá-la ainda mais para esclarecer a matemática). Imagine um conjunto de dados com duas variáveis idênticos padronizados . Quanta variação é descrita por ? Duas outras soluções fornecem . Argumento que a resposta correta é .

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— ameba diz Restabelecer Monica

@amoeba: Apesar de ainda estar lutando para entender completamente o material, entendo que sua resposta é diferente. Quando eu disse "todas as respostas legais", sugeri que gosto do nível das respostas em si, não da correção . Acho que tem um valor educacional para pessoas como eu, que estão em sua busca de auto-educação em um país de terreno acidentado, chamado Estatísticas :-). Espero que faça sentido.

— Aleksandr Blekh

Respostas:

Se começarmos com a premissa de que todas as variáveis foram centralizadas (prática padrão no PCA), a variação total nos dados é apenas a soma dos quadrados:

T = \sum_{i} (A_{i}^{2} + B_{i}^{2} + C_{i}^{2} + D_{i}^{2} + E_{i}^{2} + F_{i}^{2})

$T=\sum_{i}(A_{i}^{2}+B_{i}^{2}+C_{i}^{2}+D_{i}^{2}+E_{i}^{2}+F_{i}^{2})$

Isso é igual ao traço da matriz de covariância das variáveis, que é igual à soma dos valores próprios da matriz de covariância. Essa é a mesma quantidade que o PCA fala em termos de "explicação dos dados" - ou seja, você deseja que os seus PCs expliquem a maior proporção dos elementos diagonais da matriz de covariância. Agora, se fizermos disso uma função objetiva para um conjunto de valores previstos, da seguinte forma:

S = \sum_{i} ({[A_{i} - {\hat{A}}_{i}]}^{2} + \dots + {[F_{i} - {\hat{F}}_{i}]}^{2})

$S=\sum_{i}\left(\left[A_{i}-\hat{A}_{i}\right]^{2}+\dots+\left[F_{i}-\hat{F}_{i}\right]^{2}\right)$

Então o primeiro componente principal minimiza entre todos os valores ajustados da classificação 1 . Portanto, parece que a quantidade adequada que você procura é Para usar seu exemplo , precisamos transformar essa equação nas previsões de classificação 1. Primeiro, você precisa normalizar os pesos para obter a soma dos quadrados 1. Portanto, substituímos (soma dos quadrados ) por . Em seguida, "pontuamos" cada observação de acordo com os pesos normalizados: $S$ $(\hat{A}_{i},\dots,\hat{F}_{i})$

P = 1 - \frac{S}{T}

$P=1-\frac{S}{T}$

A + 2 B + 5 C

$A+2B+5C$

(1, 2, 5, 0, 0, 0)

$(1,2,5,0,0,0)$

30

$30$

(\frac{1}{\sqrt{30}}, \frac{2}{\sqrt{30}}, \frac{5}{\sqrt{30}}, 0, 0, 0)

$\left(\frac{1}{\sqrt{30}},\frac{2}{\sqrt{30}},\frac{5}{\sqrt{30}},0,0,0\right)$

Z_{i} = \frac{1}{\sqrt{30}} A_{i} + \frac{2}{\sqrt{30}} B_{i} + \frac{5}{\sqrt{30}} C_{i}

$Z_{i}=\frac{1}{\sqrt{30}}A_{i}+\frac{2}{\sqrt{30}}B_{i}+\frac{5}{\sqrt{30}}C_{i}$

Em seguida, multiplicamos as pontuações pelo vetor de peso para obter nossa previsão de classificação 1.

(\begin{matrix} {\hat{A}}_{i} \\ {\hat{B}}_{i} \\ {\hat{C}}_{i} \\ {\hat{D}}_{i} \\ {\hat{E}}_{i} \\ {\hat{F}}_{i} \end{matrix}) = Z_{i} \times (\begin{matrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0 \end{matrix})

$\begin{pmatrix} \hat{A}_{i} \\ \hat{B}_{i} \\ \hat{C}_{i} \\ \hat{D}_{i} \\ \hat{E}_{i} \\ \hat{F}_{i}\end{pmatrix} =Z_{i}\times\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0\end{pmatrix}$

Em seguida, conecte essas estimativas em calcular . Você também pode colocar isso na notação de norma da matriz, o que pode sugerir uma generalização diferente. Se definirmos como a matriz dos valores observados das variáveis ( no seu caso) e como uma matriz correspondente de previsões. Podemos definir a proporção de variação explicada como: $S$ $P$ $O$ $N\times q$ $q=6$ $E$

\frac{| | O | |_{2}^{2} - | | O - E | |_{2}^{2}}{| | O | |_{2}^{2}}

$\frac{||O||_{2}^{2}-||O-E||_{2}^{2}}{||O||_{2}^{2}}$

Onde é a norma da matriz de Frobenius . Portanto, você pode "generalizar" isso para algum outro tipo de norma matricial e obterá uma medida de diferença da "variação explicada", embora não exista "variação", a menos que seja a soma dos quadrados. $||.||_{2}$

— probabilityislogic
fonte

Esta é uma abordagem razoável, mas a sua expressão pode ser muito simplificada e mostrou ser igual à soma dos quadrados dos dividido pela soma total dos quadrados . Além disso, acho que essa não é a melhor maneira de interpretar a questão; veja minha resposta para uma abordagem alternativa que, na minha opinião, faz mais sentido (em particular, veja meu exemplo aqui).

Z_{i}

$Z_i$

T

$T$

— ameba diz Restabelecer Monica

Pense assim. Imagine um conjunto de dados com duas variáveis idênticos padronizados . Quanta variação é descrita por ? Seu cálculo fornece . Argumento que a resposta correta é .

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— ameba diz Restabelecer Monica

@amoeba - se , em seguida, o primeiro PC é - Isto torna espesso dezenas de (assumindo ). Isso fornece previsões de classificação de e da mesma forma . Portanto, você obtém e . Portanto, você recebe 100% como sugere sua intuição.

X = Y

$X=Y$

(\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}})

$(\frac {1}{\sqrt {2}},\frac {1}{\sqrt {2}})$

1

$1$

z_{i} = \frac{x_{i} + y_{i}}{\sqrt{2}} = x_{i} \sqrt{2}

$z_i=\frac {x_i+y_i}{\sqrt {2}}=x_i\sqrt {2}$

x_{i} = y_{i}

$x_i=y_i$

1

$1$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i=x_i$

{\hat{y}}_{i} = y_{i}

$\hat {y}_i=y_i$

O - E = 0

$O-E=0$

S = 0

$S =0$

— probabilityislogic

Ei, sim, claro, o 1º PC explica 100% de variação, mas não foi isso que eu quis dizer. O que eu quis dizer é que , mas a questão é quanta variação é descrita por , ou seja, pelo vetor ? O que sua fórmula diz então?

X = Y

$X=Y$

X

$X$

(1, 0)

$(1,0)$

— ameba diz Restabelecer Monica

@amoeba - isso indica 50%, mas observe que o vetor indica que o melhor preditor de classificação para é dado como e (observando que sob a sua escolha de vetor). Esta não é uma previsão ideal, e é por isso que você não recebe 100%. Você precisa prever e nesta configuração.

(1, 0)

$(1,0)$

1

$1$

(x_{i}, y_{i})

$(x_i, y_i)$

{\hat{x}}_{i} = x_{i}

$\hat {x}_i= x_i$

{\hat{y}}_{i} = 0

$\hat {y}_i=0$

z_{i} = x_{i}

$z_i=x_i$

X

$X$

Y

$Y$

— probabilityislogic

Digamos que eu escolha alguma combinação linear dessas variáveis - por exemplo, , eu poderia calcular quanta variação nos dados isso descreve? $A+2B+5C$

Essa pergunta pode ser entendida de duas maneiras diferentes, levando a duas respostas diferentes.

Uma combinação linear corresponde a um vetor, que no seu exemplo é . Este vetor, por sua vez, define um eixo no espaço 6D das variáveis originais. O que você está perguntando é: quanta variação a projeção nesse eixo "descreve"? A resposta é dada através da noção de "reconstrução" dos dados originais desta projeção e medindo o erro de reconstrução (consulte a Wikipedia sobre Fração de variação inexplicada ). Acontece que essa reconstrução pode ser razoavelmente feita de duas maneiras diferentes, produzindo duas respostas diferentes. $[1, 2, 5, 0, 0, 0]$

Abordagem # 1

Seja seja o centrado conjunto de dados ( linhas correspondem às amostras, colunas correspondem às variáveis), deixar ser sua matriz de covariância, e deixar ser um vector de unidade . A variação total do conjunto de dados é a soma de todas as variações , ou seja, o traço da matriz de covariância: . A questão é: que proporção de faz $\newcommand{\S}{\boldsymbol \Sigma} \newcommand{\w}{\mathbf w} \newcommand{\v}{\mathbf v}\newcommand{\X}{\mathbf X} \X$ $n$ $d$ $\S$ $\w$ $\mathbb R^d$ $d$ $T = \mathrm{tr}(\S)$ $T$ $\w$ descrever? As duas respostas fornecidas por @todddeluca e @probabilityislogic são equivalentes às seguintes: calcular projeção , calcular sua variação e dividir por : $\X \w$ $T$

R_{f i r s t}^{2} = \frac{V a r (X w)}{T} = \frac{w^{⊤} Σ w}{t r (Σ)} .

$R^2_\mathrm{first} = \frac{\mathrm{Var}(\X \w)}{T} = \frac{\w^\top \S \w}{\mathrm{tr}(\S)}.$

Isso pode não ser imediatamente óbvio, porque, por exemplo, @probabilityislogic sugere considerar a reconstrução e depois calcular mas com um pouco de álgebra, isso pode ser mostrado como uma expressão equivalente. $\X \w \w^\top$

\frac{‖ X ‖^{2} - ‖ X - X w w^{⊤} ‖^{2}}{‖ X ‖^{2}},

$\frac{\|\X\|^2 - \|\X-\X \w \w^\top\|^2}{\|\X\|^2},$

Abordagem # 2

OK. Agora considere um exemplo a seguir: é um conjunto dados com matriz de covariância e é simplesmente um vetor : $\X$ $d=2$

Σ = (\begin{matrix} 1 & 0.99 \\ 0.99 & 1 \end{matrix})

$\S = \left(\begin{array}{c}1&0.99\\0.99&1\end{array}\right)$

w = (\begin{matrix} 1 & 0 \end{matrix})^{⊤}

$\mathbf w = (\begin{array}{}1&0\end{array})^\top$

x

$x$

variação explicada

A variação total é . A variação da projeção em (mostrada em pontos vermelhos) é igual a . Portanto, de acordo com a lógica acima, a variação explicada é igual a . E, em certo sentido, é: os pontos vermelhos ("reconstrução") estão longe dos pontos azuis correspondentes; portanto, grande parte da variação é "perdida". $T=2$ $\w$ $1$ $1/2$

Por outro lado, as duas variáveis têm correlação de e são quase idênticas; dizer que um deles descreve apenas da variação total é estranho, porque cada um deles contém "quase todas as informações" sobre o segundo. Podemos formalizá-lo da seguinte forma: dada a projeção , encontre a melhor reconstrução possível com não necessariamente o mesmo que , depois calcule o erro de reconstrução e conecte-o ao expressão para a proporção da variância explicada: que é escolhido de forma que $0.99$ $50\%$ $\X\w$ $\X\w\v^\top$ $\v$ $\w$

R_{s e c o n d}^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}},

$R^2_\mathrm{second}=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2},$

v

$\v$

‖ X - X w v^{⊤} ‖^{2}

$\|\X-\X \w \v^\top\|^2$ é mínimo (isto é, é máximo). Esta é exactamente equivalente a computação de regressão multivariada prevendo originais conjunto de dados da projecção -dimensional .

R^{2}

$R^2$

R^{2}

$R^2$

X

$\X$

1

$1$

X w

$\X\w$

É uma questão de álgebra direta usar a solução de regressão para para descobrir que toda a expressão se simplifica paraNo exemplo acima, isso é igual a , o que parece razoável. $\v$

R_{s e c o n d}^{2} = \frac{‖ Σ w ‖^{2}}{w^{⊤} Σ w \cdot t r (Σ)} .

$R^2_\mathrm{second}=\frac{\|\S \w\|^2}{\w^\top \S \w \cdot \mathrm{tr}(\S)}.$

0.9901

$0.9901$

Observe que se (e somente se) for um dos vetores próprios de , ou seja, um dos eixos principais, com valor próprio (de modo que ), as duas abordagens para calcular coincidem e reduzem à expressão familiar de PCA $\w$ $\S$ $\lambda$ $\S \w = \lambda \w$ $R^2$

R_{P C A}^{2} = R_{f i r s t}^{2} = R_{s e c o n d}^{2} = λ / t r (Σ) = λ / \sum λ_{i} .

$R^2_\mathrm{PCA} = R^2_\mathrm{first} = R^2_\mathrm{second} = \lambda/\mathrm{tr}(\S) = \lambda/\sum \lambda_i.$

PS. Veja minha resposta aqui para uma aplicação da fórmula derivada no caso especial de sendo um dos vetores básicos : Variação dos dados explicados por uma única variável . $\w$

Apêndice. Derivação da fórmula para $R^2_\mathrm{second}$

Encontrar minimizar a reconstrução é um problema de regressão (com como preditor univariado e como resposta multivariada). Sua solução é dada por $\v$ $\|\X-\X \w \v^\top\|^2$ $\X \w$ $\X$

v^{⊤} = {((X w)^{⊤} (X w))}^{- 1} (X w)^{⊤} X = (w^{⊤} Σ w)^{- 1} w^{⊤} Σ .

$\v^\top = \left((\X \w)^\top (\X \w)\right)^{-1}(\X \w)^\top \X = (\w^\top \S \w)^{-1} \w^\top \S.$

Em seguida, a fórmula pode ser simplificada como devido ao teorema de Pitágoras, porque a matriz de chapéu em regressão é uma projeção ortogonal (mas também é fácil mostrar diretamente). $R^2$

R^{2} = \frac{‖ X ‖^{2} - ‖ X - X w v^{⊤} ‖^{2}}{‖ X ‖^{2}} = \frac{‖ X w v^{⊤} ‖^{2}}{‖ X ‖^{2}}

$R^2=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2} = \frac{\|\X \w \v^\top\|^2}{\|\X\|^2}$

Conectando agora a equação para , obtemos para o numerador: $\v$

‖ X w v^{⊤} ‖^{2} = t r (X w v^{⊤} (X w v^{⊤})^{⊤}) = t r (X w w^{⊤} Σ Σ w w^{⊤} X^{⊤}) / (w^{⊤} Σ w)^{2} = t r (w^{⊤} Σ Σ w) / (w^{⊤} Σ w) = ‖ Σ w ‖^{2} / (w^{⊤} Σ w) .

$\|\X \w \v^\top\|^2 = \mathrm{tr}\left(\X \w \v^\top (\X \w \v^\top)^\top\right) = \mathrm{tr}(\X\w\w^\top\S\S\w\w^\top\X^\top)/(\w^\top\S\w)^2=\mathrm{tr}(\w^\top\S\S\w)/(\w^\top\S\w) = \|\S\w\|^2 / (\w^\top\S\w).$

O denominador é igual a resultando na fórmula fornecida acima. $\|\X\|^2 = \mathrm{tr}(\S)$

— ameba diz Restabelecer Monica
fonte

Eu acho que isso é uma resposta para uma pergunta diferente. Por exemplo, não é o caso de otimizar seu wrt dar ao primeiro PC a resposta única (nos casos em que é único). O fato de que e fornecem 100% quando é evidência suficiente. Seu método proposto parece assumir que a função objetivo "normalizada" para PCA sempre subestima a variação explicada (a sua não é uma função objetivo normalizada de PCA, pois normaliza pela quantidade otimizada em PCA).

R^{2}

$R^2$

w

$w$

(1, 0)

$(1,0)$

\frac{1}{\sqrt{2}} (1, 1)

$\frac {1}{\sqrt {2}}(1,1)$

X = Y

$X=Y$

— probabilityislogic

Concordo que nossas respostas são para perguntas diferentes, mas não está claro para mim qual OP tinha em mente. Observe também que minha interpretação não é algo muito estranho: é uma abordagem de regressão padrão: quando dizemos que explica tanto e muita variação em , calculamos o erro de reconstrução decom um ótimo , não apenas. Aqui está outro argumento: se todas as variáveis forem padronizadas, em sua abordagem, cada uma delas explica quantidade de variação. Isso não é muito informativo: algumas variáveis podem ser muito mais preditivas que outras! Minha abordagem reflete isso.

x

$x$

y

$y$

‖ y - x b ‖

$\|y-xb\|$

b

$b$

‖ y - x ‖

$\|y-x\|$

n

$n$

1 / n

$1/n$

— ameba diz Restabelecer Monica

@amoeba (+1) Ótima resposta, é realmente útil! Você conhece alguma referência que resolva esse problema? Obrigado!

— Pierree

@PierreE Thanks. Não, acho que não tenho nenhuma referência a isso.

— Ameba diz Reinstate Monica

Seja a variação total, , em um conjunto de dados de vetores, a soma dos erros quadráticos (SSE) entre os vetores no conjunto de dados e o vetor médio do conjunto de dados, que é o vetor médio do conjunto de dados, é o i-ésimo vetor no conjunto de dados e é o produto escalar de dois vetores . Dito de outra forma, a variação total é o SSE entre cada e seu valor previsto, , quando definimos . $T$

T = \sum_{i} (x_{i} - \bar{x}) \cdot (x_{i} - \bar{x})

$T = \sum_{i} (x_i-\bar{x}) \cdot (x_i-\bar{x})$

\bar{x}

$\bar{x}$

x_{i}

$x_i$

\cdot

$\cdot$

x_{i}

$x_i$

f (x_{i})

$f(x_i)$

f (x_{i}) = \bar{x}

$f(x_i)=\bar{x}$

Agora, deixe o preditor de , ser a projeção do vetor em um vetor unitário . $x_i$ $f(x_i)$ $x_i$ $c$

f_{c} (x_{i}) = (c \cdot x_{i}) c

$f_c(x_i) = (c \cdot x_i)c$

Então o para um dado é $SSE$ $c$

S S E_{c} = \sum_{i} (x_{i} - f_{c} (x_{i})) \cdot (x_{i} - f_{c} (x_{i}))

$SSE_c = \sum_i (x_i - f_c(x_i)) \cdot (x_i - f_c(x_i))$

Eu acho que se você escolher para minimizar , é o primeiro componente principal. $c$ $SSE_c$ $c$

Se você escolher como a versão normalizada do vetor , então é a variação nos dados descritos, usando como preditor. $c$ $(1, 2, 5, ...)$ $T-SSE_c$ $c$

— todddeluca
fonte

Essa é uma abordagem razoável, mas acho que essa não é a melhor maneira de interpretar a pergunta; veja minha resposta para uma abordagem alternativa que, na minha opinião, faz mais sentido (em particular, veja meu exemplo aqui).

— ameba diz Restabelecer Monica

Pense assim. Imagine um conjunto de dados com duas variáveis idênticos padronizados . Quanta variação é descrita por ? Seu cálculo fornece . Argumento que a resposta correta é .

X = Y

$X=Y$

X

$X$

50 %

$50\%$

100 %

$100\%$

— ameba diz Restabelecer Monica

Análise de componentes principais “invertida”: quanta variação dos dados é explicada por uma dada combinação linear das variáveis?

Abordagem # 1

Abordagem # 2

Apêndice. Derivação da fórmula paraR2secondRsecond2R^2_\mathrm{second}

Apêndice. Derivação da fórmula para $R^2_\mathrm{second}$