Perguntas com a marcação «lasso»

Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados ​​no Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

A função R cv.glm (library: boot) calcula o erro de previsão de validação cruzada estimado em dobras K para modelos lineares generalizados e retorna delta. Faz sentido usar essa função para uma regressão do laço (library: glmnet) e, em caso afirmativo, como pode ser realizada? A biblioteca glmnet usa uma …

9 r  regression  cross-validation  lasso  glmnet 

Estou conduzindo uma análise em que o objetivo principal é entender os dados. O conjunto de dados é grande o suficiente para validação cruzada (10k), e os preditores incluem variáveis ​​contínuas e simuladas, e o resultado é contínuo. O objetivo principal era verificar se faz sentido expulsar alguns preditores, a …

9 lasso  explanatory-models 

Recebi de outros posts que não se pode atribuir 'importância' ou 'significância' às variáveis ​​preditoras que entram em um modelo de laço, porque calcular os valores p ou os desvios-padrão dessas variáveis ​​ainda é um trabalho em andamento. Sob esse raciocínio, é correto afirmar que não se pode dizer que …

9 statistical-significance  bootstrap  simulation  lasso  regression-strategies 

Essa pergunta pode ser idiota, mas notei que existem duas formulações diferentes da regressão de Lasso . Sabemos que o problema de Lasso é minimizar o objetivo que consiste na perda quadrada mais o termo de penalidade -1, expresso da seguinte forma: LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda …

9 lasso 

Eu tenho uma pergunta sobre como modelar texto sobre dados de contagem, em particular como eu poderia usar a lassotécnica para reduzir recursos. Digamos que eu tenha N artigos on-line e a contagem de visualizações de página para cada artigo. Eu extraí 1 grama e 2 gramas para cada artigo …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis ​​preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada para a …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j …

9 feature-selection  lasso  shrinkage 

Modelos penalizados podem ser usados ​​para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é desejável ou útil recolher …

9 categorical-data  lasso  elastic-net  log-linear  many-categories 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Dado x2=2x1x2=2x1x_2 = 2 x_1 , qual é o comportamento teórico dos coeficientes LASSO e por quê? Um de x1x1x_1 ou x2x2x_2 diminuiria para 000 ou os dois? require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = …

9 lasso  multicollinearity 

Em seu artigo seminal 'Regressão a Menor Ângulo' , Efron et al descrevem uma modificação simples do algoritmo LARS que permite calcular caminhos completos de regularização do LASSO. Eu implementei essa variante com êxito e geralmente plotei o caminho de saída em relação ao número de etapas (iterações sucessivas do …

9 regression  lasso  regularization  lars 

\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação cruzada? No caso α=1α=1\alpha=1 (regressão de crista), a fórmula dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} pode ser usado para …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Eu tenho um grande conjunto de preditores (mais de 43.000) para prever uma variável dependente que pode assumir 2 valores (0 ou 1). O número de observações é superior a 45.000. A maioria dos preditores são unigramas, bigramas e trigramas de palavras, portanto há um alto grau de colinearidade entre …

9 r  multiple-regression  lasso  glmnet 

Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn SelectFromModel …

9 feature-selection  linear-model  lasso  ridge-regression