Regressão de Ridge: regularizando em direção a um valor

7

A estimativa de regressão tradicional da crista é

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} X^{T} Y

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y$

que vem da adição do termo de penalidade $\lambda ||\beta||^2_2$ .

Tenho lutado para encontrar literatura sobre a regularização em direção a um valor específico . Em particular, observei um modelo de regressão de cumeeira que usa a forma de penalidade $\lambda ||\beta-B||^2_2$ Onde $B$ é a estimativa inicial de $\beta$ sob a configuração de Mínimos Quadrados Iterativamente Recompensados. Por sua vez, a estimativa de regressão de crista é

{\hat{β}}_{r i d g e} = (X^{T} X + λ I)^{- 1} (X^{T} Y + λ B) .

$\hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} (X^T Y + \lambda B).$

O parâmetro lambda também é escolhido para ser muito grande ( $\lambda=100000$ ), o que me parece que a estimativa está tentando convergir para $B$ .

Por que regularizar em direção a um valor? Isso muda a interpretação de $\beta$ ?

Quaisquer comentários e / ou citações serão muito apreciados. Obrigado!

— CindyLhasapoo
fonte

3

Não sigo completamente sua pergunta, porque ela parece se referir a várias coisas diferentes: regularização, IRLS e foco em um valor específico. No que diz respeito ao último, no entanto, se você substituir

Y

$Y$ de

Y - X B

$Y-XB$ , basta aplicar a Regressão de cume padrão. Se é uma boa ideia ou não, depende do que o IRLS está realizando para seus dados: obviamente, os resultados podem ser extremamente sensíveis à estimativa do IRLS.

— whuber

Eu realmente só queria saber o propósito do termo de penalidade que eles usavam e se a estimativa da crista ainda tem alguma interpretação. o

β

$\beta$ aqui está uma matriz no papel, mas o

Y

$Y$ e

X

$X$ ainda são vetores. O que não consigo entender é o que eles fazem na estimativa final da matriz preditora. Eu esperaria que alguma estrutura em que a diagonal domine acima e abaixo tenha algumas contribuições, pense na diagonal do bloco. No entanto, esse não é o caso, então eu me pergunto se a interpretação é alterada ao usar diferentes combinações de valores de penalidade e crista.

— CindyLhasapoo 27/10/16

Eu não sigo você, porque não faz sentido matemático ou estatístico para

X

$X$ e

Y

$Y$ ser vetores e

β

$\beta$ ser uma matriz. Usualmente

X

$X$ é a matriz de design (contém os valores de todas as variáveis do regressor),

Y

$Y$ é um vetor (de respostas) e

β

$\beta$ é um vetor de coeficientes. Se você deseja entender o que significa a estimativa da Regressão de Ridge, revise o que é Regressão de Ridge: como apontei no meu primeiro comentário, o que você descreve pode ser reformulado como um modelo padrão de Regressão de Ridge.

— whuber

Regularizar para algum outro valor diferente de zero pode ser implementado usando compensações, se o software implementar isso.

— Kjetil b halvorsen

Em stats.stackexchange.com/a/311490/919 , forneço os detalhes do argumento de que regularizar para um valor específico é o mesmo que regularizar para 0. Isso deve ajudar na interpretação.

— whuber

5

Nós temos a função de custo

‖ y - X β ‖_{2}^{2} + γ ‖ β - β_{0} ‖_{2}^{2}

$\| \mathrm y - \mathrm X \beta \|_2^2 + \gamma \| \beta - \beta_0 \|_2^2$

onde . O mínimo é atingido em $\gamma \geq 0$

\hat{β} := (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0})

$\hat{\beta} := ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )$

Observe que enquanto pode não ser invertível, é sempre invertível se . $\mathrm X^{\top} \mathrm X$ $\mathrm X^{\top} \mathrm X + \gamma \mathrm I$ $\gamma > 0$

Se , então $\gamma \gg 1$

\begin{aligned} \hat{β} & = (X^{⊤} X + γ I)^{- 1} (X^{⊤} y + γ β_{0}) \\ = (γ^{- 1} X^{⊤} X + I)^{- 1} (γ^{- 1} X^{⊤} y + β_{0}) \\ \approx (I - γ^{- 1} X^{⊤} X) (β_{0} + γ^{- 1} X^{⊤} y) \\ \approx (I - γ^{- 1} X^{⊤} X) β_{0} + γ^{- 1} X^{⊤} y \\ = β_{0} + γ^{- 1} X^{⊤} (y - X β_{0}) \end{aligned}

$\begin{array}{rl} \hat{\beta} &= ( \mathrm X^{\top} \mathrm X + \gamma \mathrm I )^{-1} ( \mathrm X^{\top} \mathrm y + \gamma \beta_0 )\\ &= ( \gamma^{-1} \mathrm X^{\top} \mathrm X + \mathrm I )^{-1} ( \gamma^{-1} \mathrm X^{\top} \mathrm y + \beta_0 )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) ( \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y )\\ &\approx ( \mathrm I - \gamma^{-1} \mathrm X^{\top} \mathrm X ) \beta_0 + \gamma^{-1} \mathrm X^{\top} \mathrm y\\ &= \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)\end{array}$

Para grande , temos a estimativa aproximada $\gamma$

\tilde{β} := β_{0} + γ^{- 1} X^{⊤} (y - X β_{0})

$\boxed{\tilde{\beta} := \beta_0 + \gamma^{-1} \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)}$

Se , então , conforme o esperado. Multiplicando à esquerda ambos os lados por , obtemos $\gamma \to \infty$ $\tilde{\beta} \to \beta_0$ $\mathrm X$

X \tilde{β} = X β_{0} + γ^{- 1} X X^{⊤} (y - X β_{0})

$\mathrm X \tilde{\beta} = \mathrm X \beta_0 + \gamma^{-1} \mathrm X \mathrm X^{\top} \left( \mathrm y - \mathrm X \beta_0 \right)$

e, assim,

y - X \tilde{β} = (I - γ^{- 1} X X^{⊤}) (y - X β_{0})

$\mathrm y - \mathrm X \tilde{\beta} = \left( \mathrm I - \gamma^{-1} \mathrm X \mathrm X^{\top} \right) \left( \mathrm y - \mathrm X \beta_0 \right)$

que nos fornece , uma aproximação do vetor de erro para grande mas finita , em termos de , o vetor de erro para infinito . $\mathrm y - \mathrm X \tilde{\beta}$ $\gamma$ $\mathrm y - \mathrm X \beta_0$ $\gamma$

Nada disso parece particularmente perspicaz ou útil, mas pode ser melhor que nada.

— Rodrigo de Azevedo
fonte

Reescreva e . Agora você tem a configuração usual de regressão de cume para o custo , permitindo que você anote a solução imediatamente.

β - β_{0} = α

$\beta-\beta_0=\alpha$

y = z - X β_{0}

$y=z-X\beta_0$

| | z - X α | |^{2} + γ | | α | |^{2}

$||z-X\alpha||^2+\gamma||\alpha||^2$

— whuber

3

Conceitualmente, pode ajudar a pensar em termos de atualização bayesiana : O termo da penalidade é equivalente a uma estimativa anterior com precisão (isto é, um gaussiano multivariado anterior $\beta_0$ $\lambda$ $\beta\sim\mathrm{N}_{\beta_0,\,I/\lambda}).$

Neste sentido, um "muito grande" que não corresponde a nenhuma em particular valor numérico. Em vez disso, seria um valor que "domina" o erro; portanto, numericamente, ele deve ser grande em relação a alguma normada matriz de design. Portanto, para o seu exemplo, não podemos dizer se é "muito grande" ou não, sem mais informações. $\lambda$ $\|X\|$ $\lambda=100000$

Dito isto, por que um valor "muito grande" pode ser usado? Um caso comum que eu vi na prática é que o problema real é a igualdade de mínimos quadrados , mas isso é aproximado usando a Regularização de Tikhonov com um "grande ". (Isso é um pouco mais geral do que o seu caso e corresponderia a uma matriz "ampla" , de modo que possa ser resolvido exatamente.) $\lambda$ $\Lambda$ $\Lambda(\beta-\beta_0)=0$

— GeoMatt22
fonte

Normalmente, a regressão de cume é realizada somente após a padronização das colunas de , permitindo que tenha algum significado intrínseco.

X

$X$

λ

$\lambda$

— whuber

@whuber obrigado pela informação, que eu não sabia.

— GeoMatt22

Eu acho que é se o segundo parâmetro representa a matriz de covariância.

N_{β_{0}, I / λ}

$N_{\beta_0,I/\lambda}$

— Benoit Sanchez

@BenoitSanchez thanks! Não sei o que eu estava pensando, como eu o chamei de precisão apenas 5 palavras antes :)

— GeoMatt22

Eu estava escrevendo uma resposta semelhante quando li o seu e pensou um de nós pode estar faltando alguma coisa :-)

— Benoit Sanchez

2

Tenho uma resposta para "Por que regularizar em direção a um valor? Isso muda a interpretação de ?" $\beta$

O aprendizado de transferência é um tipo de aprendizado de máquina em que o conhecimento do domínio de origem ao executar uma tarefa é transferido para o domínio de destino ao executar a mesma tarefa, ou seja, a tarefa permanece a mesma, mas os conjuntos de dados nos dois domínios diferem.

Uma maneira de realizar o aprendizado de transferência é o compartilhamento de parâmetros. A intuição de alto nível é que os parâmetros do modelo de domínio de destino devem estar muito próximos dos parâmetros do modelo de domínio de origem e, ao mesmo tempo, permitir alguma incerteza. Matematicamente, essa intuição é capturada penalizando o desvio dos parâmetros, ou seja, , onde, é o parâmetro de penalização e W é um vetor de parâmetros do modelo. $\lambda\|W_{target}−W_{source}\|^2_2$ $λ$

Eu usei essa abordagem para realizar o aprendizado de transferência para campos aleatórios condicionais , veja Eq. 4 e texto relacionado.

Eu tive uma pergunta semelhante para a regressão de Ridge postada aqui sobre a interpretabilidade da solução de formulário fechado.

— anataraj
fonte

1

É possível entendê-lo do ponto de vista bayesiano .

A regularização de Ridge para regressão linear é um método bayesiano disfarçado. Veja: https://en.wikipedia.org/wiki/Lasso_(statistics)#Bayesian_interpretation (é mais fácil entender explicado na página Lasso da wikipedia, mas é a mesma idéia com Ridge).

A convenção que uso para regularização é a seguinte. Minimize: . Suponha que o ruído tenha variação para simplificar (caso contrário, substitua por todos os lugares). $\left(\displaystyle\sum_{i=1}^N(y_i-\beta x_i)^2\right)+\lambda\|\beta-\beta_0\|^2$ $\sigma^2=1$ $\lambda$ $\lambda/\sigma^2$

Regularização com coeficiente significa assumir um anterior normal : "Espero como crença prévia de que os coeficientes são pequenos": A distribuição anterior é uma distribuição normal com média e "raio" . Regularizar para significa assumir um anterior normal : "Espero como crença prévia de que os coeficientes não estão longe de ": a distribuição anterior é normal distribuição com média e "raio" . $\lambda$ $N(0;\frac{1}{\lambda}I)$ $0$ $\sqrt\frac{1}{\lambda}$ $\beta_0$ $N(\beta_0;\frac{1}{\lambda}I)$ $\beta_0$ $\beta_0$ $\sqrt\frac{1}{\lambda}$

Essa prévia geralmente resulta de um treinamento anterior que forneceu como uma estimativa. A força da sua crença é o poder estatístico do seu primeiro conjunto de treinamento. Um grande lambda significa que você tinha muitas informações anteriormente; sua crença é levemente alterada para cada nova amostra: uma pequena atualização por amostra. $\beta_0$ $\lambda$

— Benoit Sanchez
fonte