Perguntas com a marcação «regularization»

Já existem posts sobre avisos de R lidando com regressão logística e separação linear como esta . Eu só quero ter certeza de que, no Python Scikit Learn, esse problema foi resolvido pela parte da regularização L1 / L2 na função de otimização. Em outras palavras, é seguro dizer que …

8 logistic  python  regularization  separation 

Estimei os parâmetros de regressão de um modelo de regressão linear usando o LASSO, enviei algumas variáveis ​​para zero usando a validação cruzada e agora obtive um modelo final. Sabe-se que a regularização induz viés nas variáveis ​​ativas, mas é um bom preço a pagar para se livrar de variáveis …

7 regression  lasso  regularization 

Pergunta muito básica aqui, mas eu gostaria de entender (não matematicamente) como o fato de adicionar uma "penalidade" (soma do coeficiente ao quadrado. Vezes um escalar) à soma residual do quadrado pode reduzir grandes coeficientes? obrigado !

7 regression  least-squares  regularization 

Considere regressão líquida elástica com glmnetparametrização semelhante à função de perdaL=12n∥∥y−β0−Xβ∥∥2+λ(α∥β∥1+(1−α)∥β∥22/2).L=12n‖y−β0−Xβ‖2+λ(α‖β‖1+(1−α)‖β‖22/2).\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big).Eu tenho um conjunto de dados com n≪pn≪pn\ll p (44 e 3000 respectivamente) e estou usando a validação cruzada de 11 vezes repetida para selecionar os parâmetros …

7 regression  cross-validation  model-selection  regularization  elastic-net 

Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado disponível? Muito obrigado …

7 lasso  regularization  ridge-regression  glmnet  elastic-net 

Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.eu2L2L^2eu1 1L1L^1 Estou procurando uma regra geral aqui. Se não …

7 variance  lasso  bias  regularization  ridge-regression 

Minha pergunta está relacionada à regularização em regressão linear e regressão logística. Atualmente, estou fazendo a terceira semana do curso Machine Learning de Andrew Ng sobre Coursera. Entendo como o ajuste excessivo pode ser um problema comum e tenho alguma intuição de como a regularização pode reduzir o ajuste excessivo. …

7 regression  machine-learning  regularization  overfitting 

Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? …

7 regression  cross-validation  lasso  regularization  ridge-regression