Perguntas com a marcação «lasso»

Estou curioso para por que geralmente há apenas regularização de normas e . Existem provas de por que estas são melhores?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Quero usar a regressão Lasso ou cume para um modelo com mais de 50.000 variáveis. Quero fazê-lo usando o pacote de software em R. Como posso estimar o parâmetro de encolhimento ( )?λλ\lambda Edições: Aqui está o ponto que eu cheguei: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), …

36 r  lasso  ridge-regression  high-dimensional 

A regularização líquida elástica é sempre preferida à Lasso & Ridge, pois parece resolver as desvantagens desses métodos? Qual é a intuição e qual é a matemática por trás da rede elástica?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Sou engenheiro de software aprendendo aprendizado de máquina, principalmente através dos cursos de Andrew Ng . Enquanto estudava regressão linear com regularização , encontrei termos que são confusos: Regressão com regularização L1 ou regularização L2 LAÇO Regressão de Ridge Então, minhas perguntas: A regressão com regularização L1 é exatamente igual …

33 regression  terminology  lasso  regularization  ridge-regression 

Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

É possível calcular valores de AIC ou BIC para modelos de regressão de laço e outros modelos regularizados em que os parâmetros estão inserindo apenas parcialmente a equação. Como se determina os graus de liberdade? Estou usando R para ajustar modelos de regressão de laço com a glmnet()função do glmnetpacote …

31 r  model-selection  lasso  aic  bic 

Nota: Eu sei que L1 tem propriedade de seleção de recurso. Estou tentando entender qual escolher quando a seleção de recursos é completamente irrelevante. Como decidir qual regularização (L1 ou L2) usar? Quais são os prós e os contras de cada regularização L1 / L2? É recomendável primeiro fazer a …

30 regression  lasso  regularization  ridge-regression 

Para o LASSO (e outros procedimentos de seleção de modelo), é crucial redimensionar os preditores. A recomendação geral que sigo é simplesmente usar uma média de 0, 1 normalização de desvio padrão para variáveis ​​contínuas. Mas o que há com manequins? Por exemplo, alguns exemplos aplicados da mesma (excelente) escola …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Eu uso a função auto.arima () no pacote de previsão para ajustar os modelos ARMAX a uma variedade de covariáveis. No entanto, muitas vezes tenho um grande número de variáveis ​​para selecionar e geralmente termino com um modelo final que funciona com um subconjunto delas. Não gosto de técnicas ad-hoc …

29 r  time-series  lasso  regularization  elastic-net 

O problema do laço possui a solução de formulário fechado: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + se X tiver colunas ortonormais. Isso foi mostrado neste …

28 regression  lasso  regularization 

Eu li três razões principais para padronizar variáveis ​​antes de algo como Lassoregressão: 1) Interpretabilidade dos coeficientes. 2) Capacidade de classificar a importância do coeficiente pela magnitude relativa das estimativas de coeficiente pós-retração. 3) Não há necessidade de interceptação. Mas estou pensando no ponto mais importante. Temos motivos para pensar …

28 normalization  lasso  standardization  regularization  shrinkage 

Quando uso o GAM, o DF residual é (última linha do código). O que isso significa? Indo além do exemplo do GAM, em geral, o número de graus de liberdade pode ser um número não inteiro?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão BBB é equivalente ao modo posterior de BBB no qual a distribuição anterior para cada BiBiB_i é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace). Eu tenho tentado provar isso, alguém pode …

27 regression  bayesian  lasso  prior  regularization 

Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe …

26 regression  lasso  regularization  shrinkage  lars 

Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k …

26 regression  feature-selection  lasso  regularization