Perguntas com a marcação «lasso»

Esta pergunta já foi feita antes, mas não houve respostas, então pensei em perguntar novamente. Estou interessado em aplicar uma penalidade de laço a algum subconjunto dos regressores, ou seja, com função objetivo E=||y−X1β1−X2β2||2+λ||β1||1E=||y−X1β1−X2β2||2+λ||β1||1E = ||\mathbf{y} - \mathbf{X}_1 \boldsymbol{\beta}_1 - \mathbf{X}_2 \boldsymbol{\beta}_2||^2 + \lambda ||\boldsymbol{\beta}_1||_1 onde o Lasso é aplicado …

7 scikit-learn  lasso 

Estou tendo algumas dificuldades para entender como a dualidade leva à forma comum do problema do LASSO e à condição de Karush-Kuhn-Tucker chamada de folga complementar. Eu tenho duas perguntas: Sabemos que, dado um problema de otimização minxf(x)s.t.hi(x)≤0,i=1,…,mminxf(x)s.t.hi(x)≤0,i=1,…,m \begin{align*} &\min_x f(x)\\ &s.t. \quad h_i(x) \leq 0 \, ,\quad i=1,\dots, m …

7 optimization  lasso 

Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado disponível? Muito obrigado …

7 lasso  regularization  ridge-regression  glmnet  elastic-net 

Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.eu2L2L^2eu1 1L1L^1 Estou procurando uma regra geral aqui. Se não …

7 variance  lasso  bias  regularization  ridge-regression 

Dadas as duas formulações equivalentes do problema para a regressão do LASSO, e \ min (RSS) tais que \ sum | \ beta_i | \ leq t , como podemos expressar a -para-um entre \ lambda e t ?min(RSS+λ∑|βi|)min(RSS+λ∑|βi|)\min(RSS + \lambda\sum|\beta_i|)min(RSS)min(RSS)\min(RSS)∑|βi|≤t∑|βi|≤t\sum|\beta_i|\leq tλλ\lambdattt

7 lasso 

Para explorar como a LASSOregressão funciona, escrevi um pequeno pedaço de código que deve otimizar a LASSOregressão escolhendo o melhor parâmetro alfa. Não consigo descobrir por que a LASSOregressão está me dando resultados tão instáveis ​​para o parâmetro alfa após a validação cruzada. Aqui está o meu código Python: from …

7 r  regression  python  lasso  penalized 

Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? …

7 regression  cross-validation  lasso  regularization  ridge-regression