Noções básicas sobre regressão de crista negativa

Estou procurando literatura sobre regressão negativa da crista .

Em suma, isto é uma generalização de regressão linear utilizando cume negativo $\lambda$ na fórmula

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$ O caso positivo tem uma teoria legal: como uma função de perda, como uma restrição, como um Bayes anterior ... mas me sinto perdido com a versão negativa apenas com a fórmula acima. Por acaso, é útil para o que estou fazendo, mas não consigo interpretá-lo claramente.

Você conhece algum texto introdutório sério sobre crista negativa? Como pode ser interpretado?

regression regularization ridge-regression

— Benoit Sanchez
fonte

Não conheço nenhum texto introdutório que fale sobre isso, mas essa fonte pode ser esclarecedora, especialmente a discussão na parte inferior da página 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents

— Ryan Simmons

Caso esse link morra no futuro, a citação completa é: Björkström, A. & Sundberg, R. "Uma visão generalizada sobre regressão contínua". Scandinavian Journal of Statistics, 26: 1 (1999): pp.17-30

— Ryan Simmons

Muito obrigado. Isso fornece uma interpretação clara da crista via CR quando

(maior autovalor da matriz de covariância). Ainda à procura de uma interpretação com

...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Benoit Sanchez

Nota neste desenvolvimento de regressão cume de regularização de Tikhonov que a regularização Tikhonov

torna-se

para a regressão cume. Subsequentemente,

é geralmente substituído por

. A única maneira de tornar esse negativo negativo é

ser imaginário, ou seja, um múltiplo de

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

. OK, e agora? Para onde você quer ir?

i = \sqrt{- 1}

$i=\sqrt{-1}$

— 15248 Carl

Cume negativo mencionado aqui: stats.stackexchange.com/questions/328630/... com alguns links

— b Kjetil Halvorsen

Aqui está uma ilustração geométrica do que está acontecendo com crista negativa.

Considerarei estimadores do formato resultante da função de perdaAqui está uma ilustração bastante padrão do que acontece em um caso bidimensional com . Zero lambda corresponde à solução OLS, infinito lambda reduz o beta estimado para zero:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

Agora, considere o que acontece quando , onde é o maior valor singular de . Para lambdas negativas muito grandes, é obviamente próximo de zero. Quando lambda se aproxima de , o termo obtém um valor singular que se aproxima de zero, o que significa que o inverso tem um valor singular que vai para o infinito negativo. Esse valor singular corresponde ao primeiro componente principal de , portanto, no limite, obtém-se apontando na direção do PC1, mas com o valor absoluto crescendo até o infinito. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

O que é realmente legal é que se pode desenhar da mesma maneira da mesma maneira: os betas são dados por pontos em que os círculos tocam as elipses por dentro :

Quando , uma lógica semelhante se aplica, permitindo continuar o caminho da crista no outro lado do estimador OLS. Agora os círculos tocam as elipses do lado de fora. No limite, os betas se aproximam da direção do PC2 (mas acontece muito além deste esboço): $\lambda\in(-s^2_\mathrm{min},0]$

O intervalo é uma lacuna de energia : os estimadores de lá não vivem na mesma curva. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

ATUALIZAÇÃO: Nos comentários, @MartinL explica que, para a perda não tem um mínimo, mas tem um máximo. E esse máximo é dado por . É por isso que a mesma construção geométrica com o toque de círculo / elipse continua funcionando: ainda estamos procurando pontos com gradiente zero. Quando , a perda tem um mínimo e é fornecida por , exatamente como no normal caso. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

Mas quando , a perda não possui máximo ou mínimo; corresponderia a um ponto de sela. Isso explica a "diferença de energia". $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

O surge naturalmente de uma regressão de crista restrita específica, consulte O limite do estimador de regressão de crista de "variação de unidade" quando . Isso está relacionado ao que é conhecido na literatura quimiométrica como "regressão contínua", veja minha resposta no tópico vinculado. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

O pode ser tratado exatamente da mesma maneira que : a função de perda permanece a mesma e o estimador de crista fornece seu mínimo. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— ameba diz Restabelecer Monica
fonte

Obrigado pelos gráficos interessantes. Quando , a solução que você representa graficamente é o máximo global da função de custo, não o mínimo global. Da mesma forma, quando , o ponto que você representou graficamente deve ser um ponto de sela da função de custo.

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

Considere apenas os termos quadráticos na função de custo. Eles podem ser escritos como Deixe , então a matriz entre parênteses tem apenas autovalores negativos. Deixe , e a matriz possui valores próprios positivos e negativos. Esses valores próprios influenciam se o ponto é um ponto de sela, mínimo ou máximo da função de custo.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

Isso é muito útil, muito obrigado. Eu fiz uma atualização na minha resposta.

— Ameba diz Reinstate Monica

Obrigado. Em particular, por perceber que o ponto de sela só é válido quando . Quando , a solução ainda é um mínimo global desde então, é definitivamente positivo. Meu comentário anterior foi, portanto, parcialmente incorreto.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L