Escopo do parâmetro de ajuste Lasso e Ridge

7

Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? por exemplo, se a saída y estiver na escala nano (-9), meu escopo de pesquisa para o log lambda pode ser -15 -> -5.

todos os parâmetros de entrada são normalizados, eles estão dentro de -3,3

— user3450805
fonte

4

Sim, você deve levar em conta a escala da saída e deve também ter em conta a escala das co-variáveis em . $y$ $X$

Seja a matriz de design, cujas linhas são vetores, com cada entrada sendo uma covariável que, juntas, procuram explicar a resposta . Cada entrada da resposta (para ) é composta de maneira aditiva por um sinal que depende das covariáveis e por um ruído médio zero do iid. Escolhendo para modelar o sinal como sendo leva aproximadamente lineares nos à estimativa LASSO sabemos, por condições de primeira ordem, que $X \in \mathbb{R}^{n \times p}$ $y \in \mathbb{R}^n$ $y_i = f(e_i^T X) + \epsilon_i$ $i = 1, \dots, n$ $f$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat \beta_\lambda = \arg\min_\beta \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$

\frac{- 1}{n} X^{T} (y - X {\hat{β}}_{λ}) = λ {\hat{z}}_{λ}

$\frac{-1}{n} X^T (y - X \hat \beta_\lambda) = \lambda \hat{z}_\lambda$ , em que é a variável dupla que satisfaz se e se .

{\hat{z}}_{λ}

$\hat{z}_\lambda$

{\hat{z}}_{λ, j} = s g n ({\hat{β}}_{λ, j})

$\hat{z}_{\lambda,j} = sgn(\hat{\beta}_{\lambda, j})$

{\hat{β}}_{λ, j} \neq 0

$\hat{\beta}_{\lambda, j} \neq 0$

{\hat{z}}_{λ, j} \in [- 1, 1]

$\hat{z}_{\lambda, j} \in [-1,1]$

{\hat{β}}_{λ, j} = 0

$\hat{\beta}_{\lambda, j} = 0$

Conectando nessa equação, vemos que , criando $\hat{\beta}_\lambda = 0$ $\frac{-1}{n} X^T y = \lambda \hat{z}_\lambda$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ ‖ {\hat{z}}_{λ} ‖_{\infty} .

$\frac{1}{n} \|X^T y \|_\infty = \lambda \|\hat{z}_{\lambda}\|_\infty.$

Se , então poderá diminuir (com aumentado para manter a igualdade) e o LASSO a estimativa ainda seria . Portanto, em , o menor valor de que produz , obtemos esse $\|\hat{z}_\lambda\|_\infty \neq 1$ $\lambda$ $\|\hat{z}_\lambda\|_\infty$ $\hat{\beta}_\lambda = 0$ $\lambda_\mathrm{max}$ $\lambda$ $\hat{\beta}_{\lambda}=0$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ_{m a x} \cdot 1.

$\frac{1}{n} \|X^T y\|_\infty = \lambda_\mathrm{max} \cdot 1.$

Isso nos diz que não há necessidade de considerar ao ajustar o LASSO. Agora, na prática, a maioria dos solucionadores padroniza as colunas do para que não precisem ser levadas diretamente em consideração. (Observe que é razoável padronizar as covariáveis, pois as unidades de medida não devem afetar o coeficiente estimado.) $\lambda > \lambda_\mathrm{max}$ $X$

O caso da crista é bem discutido aqui: Penalidade máxima pela regressão da crista

— user795305
fonte

3

No pacote R glmnet, a função cv.glmnetajusta um modelo em todo o conjunto de dados para selecionar o caminho de regularização adequado e, em seguida, faz a validação cruzada usando esse caminho. Isso parece funcionar bem na prática.

— Sycorax diz restabelecer Monica
fonte