Perguntas com a marcação «lasso»

Eu sou novo no glmnetpacote e ainda não tenho certeza de como interpretar os resultados. Alguém poderia me ajudar a ler o seguinte gráfico de rastreamento? O gráfico foi obtido executando o seguinte: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op …

15 r  data-visualization  interpretation  lasso  glmnet 

Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)? Da mesma forma, por que os métodos General to Specific (GETS) para seleção de …

15 feature-selection  model-selection  lasso  stepwise-regression  lars 

Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também passei pelo Cross Validated , mas não consigo encontrar …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Existem resultados analíticos ou artigos experimentais sobre a escolha ideal do coeficiente do termo de penalidade . Por ótimo , quero dizer um parâmetro que maximiza a probabilidade de selecionar o melhor modelo ou que minimiza a perda esperada. Estou perguntando porque muitas vezes é impraticável escolher o parâmetro por …

15 model-selection  lasso  shrinkage 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 3 anos . Estou construindo uma regressão logística em R usando o método LASSO com as funções cv.glmnetpara …

15 r  logistic  categorical-data  lasso  glmnet 

Defina a estimativa do laço onde a i ^ {th} linha x_i \ in \ mathbb {R} ^ p da matriz de design X \ in \ mathbb {R} ^ {n \ times p} é um vetor de covariáveis ​​para explicar a resposta estocástica y_i (para i = 1, \ …

14 lasso  regularization 

Gostaria de criar uma floresta aleatória usando o seguinte processo: Construa uma árvore em amostras aleatórias dos dados e recursos usando o ganho de informações para determinar as divisões Encerre um nó folha se exceder uma profundidade predefinida OU qualquer divisão resultaria em uma contagem de folhas menor que um …

14 classification  random-forest  lasso  ensemble 

Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação …

14 cross-validation  lasso  aic  ridge-regression  bic 

Qual é a complexidade temporal assintótica da regressão de Lasso à medida que o número de linhas ou colunas cresce?

14 lasso  time-complexity 

Estou lendo sobre a melhor seleção de subconjunto no livro Elementos do aprendizado estatístico. Se eu tiver 3 preditores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , crio 23=823=82^3=8 subconjuntos: Subconjunto sem preditores subconjunto com o preditorx1x1x_1 subconjunto com o preditorx2x2x_2 subconjunto com preditor x3x3x_3 subconjunto com preditores x1,x2x1,x2x_1,x_2 subconjunto com preditores x1,x3x1,x3x_1,x_3 subconjunto com preditores …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

\newcommand{\diag}{\operatorname{diag}} Temos o problema: supondo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Existe uma solução fechada neste caso? Eu tenho isso: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e , portanto, acho que a resposta …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Uma das motivações para a rede elástica foi a seguinte limitação do LASSO: No caso p>np>np > n , o laço seleciona no máximo n variáveis ​​antes de saturar, devido à natureza do problema de otimização convexa. Esse parece ser um recurso limitante para um método de seleção de variáveis. …

13 regression  optimization  feature-selection  lasso 

Existem vários artigos pesados ​​em matemática que descrevem o laço bayesiano, mas eu quero testar o código JAGS correto que eu possa usar. Alguém poderia postar um exemplo de código BUGS / JAGS que implementa regressão logística regularizada? Qualquer esquema (L1, L2, Elasticnet) seria ótimo, mas Lasso é o preferido. …

13 bayesian  logistic  lasso  jags  regularization 

A Tabela 18.1 nos Elementos de aprendizagem estatística resume o desempenho de vários classificadores em um conjunto de dados de 14 classes. Estou comparando um novo algoritmo com o laço e a rede elástica para esses problemas de classificação em várias classes. Usando glmnetversão 1.5.3 (R 2.13.0) que não seja …

13 classification  lasso  glmnet 

Gostaria de obter os coeficientes para o problema do LASSO | | Y- Xβ| | +λ | | β| |1.||Y-Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. O problema é que as funções glmnet e lars dão respostas diferentes. Para a função glmnet, peço os coeficientes deem vez de apenas , mas ainda recebo respostas diferentes.λ …

13 r  machine-learning  regression  lasso  regularization