Sob exatamente quais condições a regressão de crista é capaz de fornecer uma melhoria em relação à regressão de mínimos quadrados ordinários?

A regressão de Ridge estima parâmetros $\boldsymbol \beta$ em um modelo linear $\mathbf y = \mathbf X \boldsymbol \beta$ por

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ que $\lambda$ é um parâmetro de regularização. É sabido que frequentemente apresenta um desempenho melhor que a regressão OLS (com $\lambda=0$ ) quando há muitos preditores correlacionados.

Um teorema da existência para regressão de cume diz que sempre existe um parâmetro $\lambda^* > 0$ tal que o erro quadrático médio de $\hat{\boldsymbol \beta}_\lambda$ é estritamente menor que o erro quadrático médio do OLS estimativa $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Em outras palavras, um valor ideal de $\lambda$ é sempre diferente de zero. Aparentemente, isso foi comprovado pela primeira vez em Hoerl e Kennard, 1970, e é repetido em muitas anotações de aulas que eu encontro on-line (por exemplo, aqui e aqui ). Minha pergunta é sobre as suposições deste teorema:

1. Existem suposições sobre a matriz de covariância $\mathbf X^\top \mathbf X$ ?

2. Existem suposições sobre a dimensionalidade do $\mathbf X$ ?

Em particular, o teorema ainda é verdadeiro se os preditores são ortogonais (por exemplo, $\mathbf X^\top \mathbf X$ é diagonal) ou mesmo se $\mathbf X^\top \mathbf X=\mathbf I$ ? E ainda é verdade se houver apenas um ou dois preditores (digamos, um preditor e um intercepto)?

Se o teorema não faz tais suposições e permanece verdadeiro mesmo nesses casos, por que a regressão de crista geralmente é recomendada apenas no caso de preditores correlacionados e nunca (?) É recomendada para regressão simples (isto é, não múltipla)?

---

Isso está relacionado à minha pergunta sobre a visão unificada sobre o encolhimento: qual é a relação (se houver) entre o paradoxo de Stein, a regressão de crista e os efeitos aleatórios em modelos mistos? , mas nenhuma resposta esclarece esse ponto até agora.

A resposta para 1 e 2 é não, mas é necessário cuidado na interpretação do teorema da existência.

Variação do Estimador de Ridge

Seja a estimativa da crista sob a penalidade e seja o parâmetro verdadeiro para o modelo . Seja os valores próprios de . Das equações de Hoerl & Kennard 4.2-4.5, o risco (em termos da norma esperada para o erro) é kβY=Xβ+£λ1,...,λpXTXG$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ onde, tanto quanto eu sei, Eles observam que tem a interpretação da variação do produto interno de , enquanto é o produto interno do viés.γ1 ^ β ∗ -βγ$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$

Supondo que , então Seja seja a derivada do risco w / r / t . Como , concluímos que há alguns tais que . R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$R′(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ klimk→0+R′(k)=-2pσ2<0k∗>0R(k∗)<R(0 $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

Os autores observam que a ortogonalidade é a melhor que você pode esperar em termos de risco em e que, à medida que o número de condições de aumenta, abordagens .X T X lim k → 0 + R ′ ( k ) - $k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Comente

Parece haver um paradoxo aqui: se e são constantes, estamos apenas estimando a média de uma sequência de variáveis Normal e conhecemos a estimativa imparcial da baunilha é admissível neste caso. Isso é resolvido observando que o raciocínio acima apenas fornece que existe um valor minimizador de para fixo . Mas para qualquer , podemos fazer com que o risco exploda aumentando , de modo que esse argumento por si só não mostra admissibilidade para a estimativa da crista.$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Por que a regressão de crista geralmente é recomendada apenas no caso de preditores correlacionados?

A derivação de risco da H&K mostra que, se considerarmos que é pequeno e se o design for quase singular, podemos obter grandes reduções no risco da estimativa. Acho que a regressão de cume não é usada onipresentemente porque a estimativa de OLS é um padrão seguro e que as propriedades de invariância e imparcialidade são atraentes. Quando falha, falha honestamente - sua matriz de covariância explode. Também existe talvez um ponto filosófico / inferencial, de que se o seu design é quase singular e você tem dados observacionais, então a interpretação de como dando alterações no para mudanças de unidade no é suspeita - a grande matriz de covariância é uma sintoma disso. $\beta ^T \beta$$X^T X$$\beta$$E Y$$X$

Mas se seu objetivo é apenas previsão, as preocupações inferenciais não se mantêm, e você tem um forte argumento para usar algum tipo de estimador de encolhimento.