Perguntas com a marcação «lasso»

Para minha pesquisa atual, estou usando o método Lasso através do pacote glmnet em R em uma variável dependente binomial. No glmnet, o lambda ideal é encontrado via validação cruzada e os modelos resultantes podem ser comparados com várias medidas, por exemplo, erro de classificação incorreta ou desvio. Minha pergunta: …

12 cross-validation  lasso  glmnet  deviance  lars 

De acordo com as referências Livro 1 , Livro 2 e papel . Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição. Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Estou tentando fazer a seleção do modelo em alguns candidatos a preditores usando o LASSO com um resultado contínuo. O objetivo é selecionar o modelo ideal com o melhor desempenho de previsão, o que geralmente pode ser feito através da validação cruzada K-fold após a obtenção do caminho da solução …

11 cross-validation  survey  lasso  glmnet 

Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para encontrar …

11 lasso  regularization  shrinkage 

Estou tentando executar uma regressão de laço, que tem a seguinte forma: Minimizar em( Y - X w ) ′ ( Y - X w ) + λwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Dado a , fui aconselhado a encontrar o ideal com a ajuda da programação quadrática, …

11 regression  lasso  quadratic-form 

Gostaria de corrigir manualmente um certo coeficiente, digamos , e depois ajustar os coeficientes a todos os outros preditores, mantendo β 1 = 1,0 no modelo.β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Como posso conseguir isso usando R? Eu particularmente gostaria de trabalhar com o LASSO ( glmnet), se possível. Como alternativa, como posso …

11 r  multiple-regression  lasso  glmnet  constrained-regression 

Depois de ler o capítulo 3 nos Elementos de aprendizagem estatística (Hastie, Tibshrani & Friedman), perguntei-me se seria possível implementar os famosos métodos de encolhimento citados no título dessa pergunta, dada uma estrutura de covariância, ou seja, minimizar a (talvez mais geral ) quantidade ( y⃗ - Xβ⃗ )TV- 1( …

11 lasso  ridge-regression 

Quando eu determino meu lambda através da validação cruzada, todos os coeficientes se tornam zero. Mas tenho algumas dicas da literatura de que alguns dos preditores devem definitivamente afetar o resultado. É besteira escolher arbitrariamente lambda para que haja a escassez que se deseja? Quero selecionar os 10 principais preditores …

11 lasso 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado no ano passado . Quais implementações de código aberto - em qualquer idioma - existem por aí que podem …

11 regression  lasso  regularization 

Se β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , pode ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumentar quando λλ\lambda aumenta? Eu acho que isso é possível. Embora ∥β∗∥1‖β∗‖1\|\beta^*\|_1 não aumente quando λλ\lambda aumenta (minha prova ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 pode aumentar. A figura abaixo mostra uma possibilidade. Quando λλ\lambda aumenta, se β∗β∗\beta^* viaja (linearmente) de PPP para QQQ , então ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumenta …

11 lasso 

Estou tentando resumir o que entendi até agora na análise multivariada penalizada com conjuntos de dados de alta dimensão, e ainda luto para obter uma definição adequada da penalização de limiar suave versus penalização por Lasso (ou ).L1L1L_1 Mais precisamente, usei a regressão PLS esparsa para analisar a estrutura de …

11 multivariate-analysis  lasso  feature-selection  genetics 

Meu entendimento da regressão do LASSO é que os coeficientes de regressão são selecionados para resolver o problema de minimização: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Na prática, isso é feito usando um multiplicador de Lagrange, tornando o problema para resolver minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - …

10 optimization  lasso  regularization  lagrange-multipliers 

Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net