Perguntas com a marcação «elastic-net»

A regularização líquida elástica é sempre preferida à Lasso & Ridge, pois parece resolver as desvantagens desses métodos? Qual é a intuição e qual é a matemática por trás da rede elástica?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

Eu gostaria de usar o GLM e o Elastic Net para selecionar esses recursos relevantes + criar um modelo de regressão linear (ou seja, previsão e entendimento, para que seja melhor ficar com relativamente poucos parâmetros). A saída é contínua. São genes por casos. Eu tenho lido sobre o pacote, …

29 r  regularization  glmnet  elastic-net  underdetermined 

Eu uso a função auto.arima () no pacote de previsão para ajustar os modelos ARMAX a uma variedade de covariáveis. No entanto, muitas vezes tenho um grande número de variáveis ​​para selecionar e geralmente termino com um modelo final que funciona com um subconjunto delas. Não gosto de técnicas ad-hoc …

29 r  time-series  lasso  regularization  elastic-net 

L =1n∥∥y-Xβ∥∥2+ λ1 1∥ β∥1 1+ λ2∥ β∥22,eu=1 1n__y-Xβ__2+λ1 1__β__1 1+λ2__β__22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1 1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Entretanto, o glmnetartigo subsequente Friedman, Hastie e Tibshirani (2010) Os caminhos de regularização para modelos lineares generalizados via …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que minimiza …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Introdução: Eu tenho um conjunto de dados com um clássico "grande p, pequeno n problema". O número de amostras disponíveis n = 150, enquanto o número de possíveis preditores p = 400. O resultado é uma variável contínua. Eu quero encontrar os descritores mais "importantes", ou seja, aqueles que são …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) …

22 machine-learning  cross-validation  glmnet  elastic-net 

Estou realmente interessado no procedimento de rede elástica para retração / seleção de preditores. Parece muito poderoso. Mas, do ponto de vista científico, não sei bem o que fazer quando obtive os coeficientes. Que pergunta estou respondendo? Essas são as variáveis ​​que mais influenciam esse resultado e esses são os …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca …

18 lasso  ridge-regression  elastic-net 

É sabido que a regressão linear com uma penalidade de é equivalente a encontrar a estimativa de MAP dada uma Gaussiana antes dos coeficientes. Da mesma forma, usar uma penalidade de é equivalente a usar uma distribuição de Laplace como a anterior.eu2eu2l^2eu1eu1l^1 Não é incomum usar alguma combinação ponderada de …

17 regression  bayesian  regularization  prior  elastic-net 

Estou tentando identificar o melhor modelo para prever os preços dos automóveis, usando os preços e os recursos disponíveis em sites de anúncios classificados para automóveis. Para isso, usei alguns modelos da biblioteca scikit-learn e modelos de redes neurais do pybrain e neurolab. A abordagem que usei até agora é …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos coeficientes (ver quais preditores são estatisticamente …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, …

16 regression  lasso  regularization  ridge-regression  elastic-net