Perguntas com a marcação «elastic-net»

Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras idéias …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes diferem entre PROC MIXEDe …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Existem bons papéis ou livros que tratam do uso da descida de coordenadas para L1 (laço) e / ou regularização líquida elástica para problemas de regressão linear?

12 regression  references  lasso  regularization  elastic-net 

LASSO e LASSO adaptável são duas coisas diferentes, certo? (Para mim, as penalidades parecem diferentes, mas estou apenas verificando se sinto falta de alguma coisa.) Quando você geralmente fala sobre redes elásticas, o caso especial é LASSO ou LASSO adaptável? Qual é o pacote glmnet, desde que você escolha alpha …

12 lasso  glmnet  elastic-net  oracle 

De acordo com as referências Livro 1 , Livro 2 e papel . Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição. Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Alguém tentou verificar se o ajuste de um modelo Elastic Net ElasticNetno scikit-learn no Python e glmnetno R no mesmo conjunto de dados produz resultados aritméticos idênticos? Eu tenho experimentado muitas combinações de parâmetros (já que as duas funções diferem nos valores padrão que passam para os argumentos) e também …

11 machine-learning  scikit-learn  glmnet  elastic-net 

Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Como o título indica, estou tentando replicar os resultados do glmnet linear usando o otimizador LBFGS da biblioteca lbfgs. Esse otimizador nos permite adicionar um termo regularizador L1 sem ter que nos preocupar com diferenciabilidade, desde que nossa função objetivo (sem o termo regularizador L1) seja convexa. O problema da …

10 r  regression  regularization  glmnet  elastic-net 

Eu estava lendo este artigo relacionado à rede elástica. Eles dizem que usam rede elástica porque, se usarmos o Lasso, tende a selecionar apenas um preditor entre os preditores altamente correlacionados. Mas não é isso que queremos. Quero dizer, isso nos salva dos problemas da multicolinearidade, não é? Alguma sugestão …

10 regression  lasso  elastic-net 

Modelos penalizados podem ser usados ​​para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é desejável ou útil recolher …

9 categorical-data  lasso  elastic-net  log-linear  many-categories 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação cruzada? No caso α=1α=1\alpha=1 (regressão de crista), a fórmula dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} pode ser usado para …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Estou confuso sobre a maneira correta de escrever a rede elástica. Depois de ler alguns trabalhos de pesquisa, parece haver três formas 1)exp{ - λ1| βk| - λ2β2k}exp⁡{-λ1|βk|-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)exp{ - ( λ1| βk| + λ2β2k)σ2√}exp⁡{-(λ1|βk|+λ2βk2)σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{\sqrt{\sigma^2}}\} 3)exp{ - ( λ1| βk| + λ2β2k)2 σ2}exp⁡{-(λ1|βk|+λ2βk2)2σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{2\sigma^2}\} Eu simplesmente não entendo a maneira correta …

8 bayesian  mathematical-statistics  gibbs  elastic-net 

O laço e a rede elástica não são capazes de lidar com variáveis ​​com mais de duas categorias e, portanto, uma divisão de variáveis ​​categóricas em manequins é necessária para a aplicação desses métodos. Isso pode resultar em vários problemas e, portanto, existem extensões para o laço para o laço …

8 machine-learning  categorical-data  feature-selection  lasso  elastic-net