Perguntas com a marcação «lasso»

Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras idéias …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Eu li que o laço de grupo é usado para seleção de variáveis ​​e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação. Por que o laço de grupo é preferível ao laço? Por que o caminho da solução do laço de grupo não …

13 regression  feature-selection  lasso  regularization 

Estou procurando algum código-fonte aberto ou uma biblioteca existente que eu possa usar. Tanto quanto eu digo, o pacote glmnet não é muito facilmente extensível para cobrir o caso não negativo. Posso estar errado, qualquer pessoa com alguma idéia muito apreciada. Por não negativo, quero dizer que todos os coeficientes …

13 r  lasso 

Estou usando o pacote 'lars' em R com o seguinte código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Zou et al. "Nos" graus de liberdade "do laço" (2007) mostram que o número de coeficientes diferentes de zero é uma estimativa imparcial e consistente para os graus de liberdade do laço. Parece um pouco contra-intuitivo para mim. Suponha que tenhamos um modelo de regressão (onde as variáveis ​​têm média …

12 regression  lasso  degrees-of-freedom  shrinkage 

Estou tentando entender como o algoritmo Lars pode ser modificado para gerar o Lasso. Embora eu compreenda o LARS, não consigo ver a modificação do laço no artigo de Tibshirani et al. Em particular, não vejo por que a condição de sinal em que o sinal da coordenada diferente de …

12 lasso 

Existem bons papéis ou livros que tratam do uso da descida de coordenadas para L1 (laço) e / ou regularização líquida elástica para problemas de regressão linear?

12 regression  references  lasso  regularization  elastic-net 

Estou ajustando uma regressão linear regularizada por L1 a um conjunto de dados muito grande (com n >> p.) As variáveis ​​são conhecidas antecipadamente, mas as observações chegam em pequenos pedaços. Eu gostaria de manter o ajuste do laço após cada pedaço. Obviamente, posso reorganizar todo o modelo depois de …

12 regression  lasso 

Programei uma regressão logística usando o algoritmo IRLS . Gostaria de aplicar uma penalização do LASSO para selecionar automaticamente os recursos corretos. A cada iteração, o seguinte é resolvido: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Seja λλ\lambda um número real não negativo. Não estou penalizando a interceptação, como sugerido em Os elementos de. Aprendizagem …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe um teorema semelhante para o laço? Se existe um teorema, ele não …

12 regression  self-study  feature-selection  lasso  regularization 

Li em vários lugares que R Squared não é uma medida ideal quando um modelo é adequado usando o LASSO. No entanto, não estou claro exatamente por que isso acontece. Além disso, você poderia recomendar a melhor alternativa?

12 regression  lasso  r-squared  penalized 

Atualmente, estou trabalhando na construção de um modelo preditivo para um resultado binário em um conjunto de dados com ~ 300 variáveis ​​e 800 observações. Eu li muito neste site sobre os problemas associados à regressão gradual e por que não usá-la. Eu estive lendo a regressão do LASSO e …

12 multiple-regression  predictive-models  interpretation  regression-coefficients  lasso 

Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta …

12 lasso  regularization  ridge-regression 

LASSO e LASSO adaptável são duas coisas diferentes, certo? (Para mim, as penalidades parecem diferentes, mas estou apenas verificando se sinto falta de alguma coisa.) Quando você geralmente fala sobre redes elásticas, o caso especial é LASSO ou LASSO adaptável? Qual é o pacote glmnet, desde que você escolha alpha …

12 lasso  glmnet  elastic-net  oracle 

Estou usando o "glmnet" para regressão do laço no GWAS. Algumas variantes e indivíduos têm valores ausentes e parece que o glmnet não pode lidar com valores ausentes. Existe alguma solução para isso? ou existe outro pacote que possa lidar com valores ausentes na regressão do laço? Aqui estão meus …

12 missing-data  lasso  glmnet