Por que a glmnet usa uma rede elástica “ingênua” do papel original da Zou & Hastie?

eu = \frac{1 1}{n}__y - X β {__}^{2} + λ_{1 1}__β {__}_{1 1} + λ_{2}__β {__}_{2}^{2},

$\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,$

{\hat{β}}^{*} = (1 1 + λ_{2}) \hat{β} .

$\hat\beta^* = (1+\lambda_2)\hat\beta.$

Entretanto, o glmnetartigo subsequente Friedman, Hastie e Tibshirani (2010) Os caminhos de regularização para modelos lineares generalizados via descida de coordenadas não usaram esse redimensionamento e apenas tiveram uma breve nota de rodapé dizendo

Zou e Hastie (2005) chamaram essa penalidade de rede elástica ingênua e preferiram uma versão redimensionada que eles chamaram de rede elástica. Abandonamos essa distinção aqui.

Nenhuma explicação adicional é dada lá (ou em qualquer livro didático de Hastie et al.). Acho isso um pouco intrigante. Os autores deixaram o reescalonamento por considerá-lo ad hoc demais ? porque teve um desempenho pior em alguns outros experimentos? porque não ficou claro como generalizá-lo para o caso GLM? Eu não faço ideia. Mas, de qualquer forma, o glmnetpacote se tornou muito popular desde então e, portanto, minha impressão é que hoje em dia ninguém está usando o reescalonamento da Zou & Hastie, e a maioria das pessoas provavelmente nem está ciente dessa possibilidade.

Pergunta: afinal, isso foi reescalonar uma boa ou má idéia?

Com a glmnetparametrização, o redimensionamento de Zou & Hastie deve ser

{\hat{β}}^{*} = (1 1 + λ (1 1 - α)) \hat{β} .

$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.$

— ameba diz Restabelecer Monica
fonte

Como no artigo de revisão, o objetivo é ajustar todo o caminho da regularização, possivelmente a idéia é que o redimensionamento seria apenas uma transformação monotônica do caminho?

— Matthew Drury

@MatthewDrury Isso é verdade, mas ainda assim se Friedman et al. Acreditava que o reescalonamento é uma boa idéia, eles não o deixariam de fora do papel e, em particular, fora do glmnetcódigo. Ele não está disponível lá, mesmo como um recurso opcional (o código anterior que acompanha o artigo de 2005 obviamente suporta o redimensionamento).

— Ameba diz Reinstate Monica

Infelizmente, o código glmnet público é completamente ilegível ...

— Matthew Drury

Enviei esta pergunta por e-mail para Zou e Hastie e recebi a seguinte resposta de Hastie (espero que ele não se importe em citá-la aqui):

Acho que em Zou et al estávamos preocupados com o viés adicional, mas é claro que o redimensionamento aumenta a variação. Portanto, apenas muda um ao longo da curva de troca de viés e variância. Em breve, incluiremos uma versão do laço relaxado, que é uma forma melhor de redimensionar.

Interpreto essas palavras como um endosso de alguma forma de "redimensionamento" da solução de rede elástica de baunilha, mas Hastie não parece mais sustentar a abordagem específica apresentada em Zou & Hastie 2005.

A seguir, revisarei e compararei brevemente várias opções de redimensionamento.

Vou usar glmnetparametrização da perda

eu = \frac{1 1}{2 n}__y - β_{0 0} - X β {__}^{2} + λ (α__β {__}_{1 1} + (1 1 - α)__β {__}_{2}^{2} / 2),

$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big),$

\hat{β}

$\hat\beta$

${\hat{β}}_{redimensionado} = (1 1 + λ (1 1 - α)) \hat{β} .$ $\hat\beta_\text{rescaled} = \big(1+\lambda(1-\alpha)\big)\hat\beta.$ $\alpha=0$ $\alpha=1$
${\hat{β}}_{OLS elástico-híbrido} = OLS (X_{Eu} ∣ {\hat{β}}_{Eu} \neq 0 0)$ $\hat\beta_\text{elastic-OLS-hybrid}= \text{OLS}(X_i\mid\hat\beta_i\ne 0)$ $n$ $n$
O laço relaxado mencionado no email de Hastie citado acima é uma sugestão para executar outro laço no subconjunto de preditores selecionados pelo primeiro laço. A idéia é usar duas penalidades diferentes e selecionar ambas por meio de validação cruzada. Pode-se aplicar a mesma idéia à rede elástica, mas isso parece exigir quatro parâmetros de regularização diferentes e ajustá-los é um pesadelo.

$\hat\beta$ $\alpha=0$ $\lambda$
${\hat{β}}_{relax-elastic-net} = Cume (X_{Eu} ∣ {\hat{β}}_{Eu} \neq 0 0) .$ $\hat\beta_\text{relaxed-elastic-net}= \text{Ridge}(X_i\mid\hat\beta_i\ne 0).$

$n\ll p$ $n=44$ $p=3000$ $y$ $X$

R_{teste}^{2} = 1 1 - \frac{__y_{teste} - {\hat{β}}_{0 0} - X_{teste} \hat{β} {__}^{2}}{__y_{teste} - {\hat{β}}_{0 0} {__}^{2}} .

$R^2_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2}.$

\hat{β}

$\hat\beta$

Portanto, pelo menos nesses dados, todas as três abordagens superam o estimador de rede elástica de baunilha e a "rede elástica relaxada" apresenta o melhor desempenho.

— ameba diz Restabelecer Monica
fonte