Intuição para os graus de liberdade do LASSO

Zou et al. "Nos" graus de liberdade "do laço" (2007) mostram que o número de coeficientes diferentes de zero é uma estimativa imparcial e consistente para os graus de liberdade do laço.

Parece um pouco contra-intuitivo para mim.

• Suponha que tenhamos um modelo de regressão (onde as variáveis ​​têm média zero)

$$y=\beta x + \varepsilon.$$

• Suponhamos que um OLS sem restrições de estimar $\beta$ é β S G S = 0,5 . Pode coincidir aproximadamente com uma estimativa do LASSO de β para uma intensidade de penalidade muito baixa.$\hat\beta_{OLS}=0.5$$\beta$
• Suponha-se ainda que uma estimativa LASSO para uma determinada intensidade penalidade $\lambda^*$ é β G A S S S , λ * = 0,4 . Por exemplo, λ ∗ pode ser o "ideal" λ para o conjunto de dados em mãos encontrado usando a validação cruzada. $\hat\beta_{LASSO,\lambda^*}=0.4$$\lambda^*$$\lambda$
• Se bem entendi, em ambos os casos os graus de liberdade são 1, pois nas duas vezes existe um coeficiente de regressão diferente de zero.

Questão:

• Como é que os graus de liberdade em ambos os casos são os mesmos, embora β G A S S S , λ * = 0,4 sugere menos "liberdade" na montagem de β S G S = 0,5 ?$\hat\beta_{LASSO,\lambda^*}=0.4$$\hat\beta_{OLS}=0.5$

Referências:

• Zou, Hui, Trevor Hastie e Robert Tibshirani. "Nos" graus de liberdade "do laço." The Annals of Statistics 35.5 (2007): 2173-2192.

Assuma que nos é dado um conjunto de de p observações -dimensional, x i ∈ R p , i = 1 , ... , n . Assumir um modelo da forma: Y i = ⟨ p , x i ⟩ + ε onde ε ~ N ( 0 , σ 2 ) , p ∈ R p , e ⟨ ⋅ , $n$ $p$$x_i \in \mathbb{R}^p$$i = 1, \dotsc, n$

$$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$$ $\epsilon \sim N(0, \sigma^2)$$\beta \in \mathbb{R}^p$ denotando o produto interno. $\langle \cdot, \cdot \rangle$seja uma estimativa deβusando o método de ajusteδ(OLS ou LASSO para nossos propósitos). A fórmula para os graus de liberdade dado no artigo (equação 1.2) é: DF ( β ) = N Σ i = 1 Cov ( ⟨ β , x i ⟩ , Y i$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$$\beta$$\delta$ $$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$$

Ao inspecionar essa fórmula, podemos supor que, de acordo com sua intuição, o verdadeiro DOF para o LASSO será realmente menor que o verdadeiro DOF do OLS; o coeficiente de retração efetuado pelo LASSO deve tender a diminuir as covariâncias.

Agora, para responder sua pergunta, a razão pela qual o DOF para o LASSO é o mesmo que o DOF para OLS no seu exemplo é apenas que você está lidando com estimativas (embora não imparciais), obtidas de um conjunto de dados específico amostrado no modelo , dos verdadeiros valores de DOF. Para qualquer conjunto de dados específico, essa estimativa não será igual ao valor verdadeiro (especialmente porque é necessário que a estimativa seja um número inteiro, enquanto o valor verdadeiro é um número real em geral).

No entanto, quando essas estimativas são calculadas sobre muitos conjuntos de dados amostrados no modelo, pela imparcialidade e pela lei de grandes números, essa média convergirá para o verdadeiro DOF. No caso do LASSO, alguns desses conjuntos de dados resultarão em um estimador em que o coeficiente é realmente 0 (embora esses conjuntos de dados possam ser raros se for pequeno). No caso do OLS, a estimativa do DOF é sempre o número de coeficientes, não o número de coeficientes diferentes de zero e, portanto, a média do caso OLS não conterá esses zeros. Isso mostra como os estimadores diferem e como o estimador médio para o LASSO DOF pode convergir para algo menor que o estimador médio para o OLS DOF.$\lambda$