Relação entre regressão de crista e regressão de PCA

Lembro-me de ter lido em algum lugar na web uma conexão entre regressão de cumeeira (com regularização ) e regressão PCA: enquanto estiver usando regressão regularizada com hiperparâmetro , se , a regressão será equivalente a remover o Variável de PC com o menor valor próprio. $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

Por que isso é verdade?
Isso tem algo a ver com o procedimento de otimização? Ingenuamente, eu esperava que fosse equivalente ao OLS.
Alguém tem uma referência para isso?

— Jose G
fonte

Você poderia explicar mais explicitamente como o PCA e a regressão estão conectados em sua declaração? A regressão distingue variáveis dependentes de variáveis independentes, enquanto que nada disso ocorre no PCA. Então, em quais variáveis você está aplicando o PCA? Não podem ser apenas as variáveis independentes, pois isso teria pouco a ver com a regressão. Mas se for aplicado a todas as variáveis, os vetores próprios são combinações lineares de todas. O que poderia significar para remover qualquer tal componente do conjunto de dados, uma vez que envolve a variável dependente?

— whuber

A conexão (como eu entendo) é que, se você usar uma penalidade de regularização muito pequena, uma regressão regularizada por L2 removerá a variável que tem o menor valor próprio. Portanto, fazer SVD na matriz de design e remover a variável com o menor autovalor é equivalente a uma regressão com uma penalidade de regularização "branda" ... Essa é a explicação mais próxima que encontrei sobre isso: sites.stat.psu. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

Sua referência parece demonstrar o oposto do que você está dizendo em seus comentários: para

pequeno , há muito pouca mudança nos resultados. Nada é removido. De fato, vários slides parecem apontar a diferença entre a regressão penalizada por

(na qual as estimativas são reduzidas para

) e a "regressão PCA" (na qual os menores componentes são totalmente removidos - o que pode ser uma coisa muito ruim). algumas circunstâncias).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Mmm .. encontrada outra referência: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf Na corrediça, "

e componentes principais", que diz que os projectos de regressão cume y para estes componentes com Dj grande * suspiro *

y^{r i d g e}

$y^{ridge}$

— Jose G

Você percebeu que p. 14 da última referência responde explicitamente à sua pergunta?

— whuber

Respostas:

Seja a matriz preditora centrada e considere sua decomposição de valor singular com sendo uma matriz diagonal com elementos diagonais . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

Os valores ajustados dos mínimos quadrados (OLS) regressão são dadas por Os valores ajustados da regressão de cumeeira é dado por

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

Os valores ajustados da regressão PCA (PCR) com

componentes são dadas por

{\hat{y}}_{r Eu d g e} = X β_{r Eu d g e} = X (X^{⊤} X + λ Eu)^{- 1} X^{⊤} y = você d Eu uma g {\frac{s_{Eu}^{2}}{s_{Eu}^{2} + λ}} {você}^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

onde existem

uns seguidos por zeros.

{\hat{y}}_{P C R} = X_{P C A} β_{P C R} = U d i a g {1, \dots, 1, 0, \dots 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

A partir daqui, podemos ver que:

Se , em seguida, . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
Isso significa que a regressão de crista pode ser vista como uma "versão suave" da PCR.

$s_i$ $\mathbf X$
A regressão de Ridge tende a ter um melhor desempenho na prática (por exemplo, para ter um desempenho validado mais alto).
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

Uma boa referência é The Elements of Statistical Learning , Seção 3.4.1 "Regressão de Ridge".

Veja também este tópico: Interpretação da regularização de crista em regressão e, em particular, a resposta de @BrianBorchers.

— ameba diz Restabelecer Monica
fonte

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

você diag (1_{1}, 1_{2}, . . ., 1_{k}, 0 0, . . ., 0 0) {você}^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

Isso é lindo.

— precisa

O Elements of Statistical Learning tem uma ótima discussão sobre essa conexão.

A maneira como interpretei essa conexão e lógica é a seguinte:

O PCA é uma combinação linear das variáveis de recurso, tentando maximizar a variação dos dados explicados pelo novo espaço.
Os dados que sofrem de multicolinearidade (ou mais preditores que linhas de dados) levam a uma matriz de covariância que não possui classificação completa.
Com esta matriz de covariância, não podemos inverter para determinar a solução dos mínimos quadrados; isso faz com que a aproximação numérica dos coeficientes dos mínimos quadrados seja ampliada até o infinito.
A Regressão de Ridge introduz a penalidade Lambda na Matriz de Covariância para permitir a inversão e convergência da matriz dos Coeficientes LS.

A conexão PCA é que a Regressão de Cume está calculando as Combinações Lineares dos Recursos para determinar onde a multicolinearidade está ocorrendo. As Combinações Lineares de Recursos (Análise de Componentes Principais) com a menor variância (e, portanto, valores singulares menores e autovalores menores no PCA) são os mais penalizados.

Pense desta maneira; para as combinações lineares de recursos com menor variação, encontramos os recursos mais semelhantes, causando a multicolinearidade. Como o Ridge não reduz o conjunto de recursos, em qualquer direção que esta combinação linear esteja descrevendo, o recurso original correspondente a essa direção é mais penalizado.

— MDornbos
fonte

X β = y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = você S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{O eu S} = V S^{- 1} {você}^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{cume}^{- 1} & = diag (\frac{s_{Eu}}{s_{Eu}^{2} + α}), \\ β_{cume} & = V S_{cume}^{- 1} {você}^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

$\mathbf S^{-1}$

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{Eu}} θ (s_{Eu} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} {você}^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

Ambos os métodos enfraquecem o impacto dos subespaços correspondentes a valores pequenos. O PCA faz isso da maneira mais difícil, enquanto a crista é uma abordagem mais suave.

S_{myReg}^{- 1} = diag (R (s_{Eu})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— davidhigh
fonte