Faixa de lambda na regressão líquida elástica

$\def\l{|\!|}$ Dada a regressão líquida elástica

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

como um intervalo apropriado de $\lambda$ ser escolhido para validação cruzada?

No caso $\alpha=1$ (regressão de crista), a fórmula

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

pode ser usado para fornecer graus de liberdade equivalentes para cada lambda (onde $s_j$ são os valores singulares de $X$ ) e os graus de liberdade podem ser escolhidos em um intervalo sensível.

No caso $\alpha=0$ (laço), sabemos que

λ > λ_{max} = max_{j} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

resultará em todo $b_j$ sendo zero e $\lambda$ pode ser escolhido em algum intervalo $(0, \lambda_\textrm{max})$ .

Mas como lidar com o caso misto?

— Chris Taylor
fonte

Eu acho que você deve usar um intervalo de a $0$

λ_{max}^{'} = \frac{1}{1 - α} λ_{max}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Meu raciocínio vem da extensão do caso do laço, e uma derivação completa está abaixo. O qualificador é que ele não captura a restrição contribuída pela regularização . Se eu descobrir como consertar isso (e decidir se ele realmente precisa de conserto), voltarei a editá-lo. $\text{dof}$ $\ell_2$

Definir o objetivo

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

Este é o objetivo que você descreveu, mas com alguns parâmetros substituídos para melhorar a clareza.

Convencionalmente, pode ser apenas uma solução para o problema de otimização se o gradiente em for zero. O termo não é bom, portanto, a condição é que esteja no subgradiente em . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

O subgradiente de é $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

onde indica o subgradiente em relação a . Em , isso se torna $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

onde é a dimensão de , e a é um cubo dimensional. Portanto, para o problema de otimização ter uma solução de , deve ser que $d$ $b$ $[-1,1]^d$ $d$ $b = 0$

(X^{T} y)_{i} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

para cada componente . Isso é equivalente a $i$

δ > max_{i} | \sum_{j} y_{j} X_{i j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

que é a definição que você deu para . Se agora for trocado, a fórmula da parte superior da postagem cairá. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
fonte