Perguntas com a marcação «regularization»

Considere regressão linear com alguma regularização: por exemplo, encontre que minimize | | A x - b | | 2 + λ | | x |xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalmente, as colunas de A são padronizadas para ter média zero e norma de unidade, enquanto é centralizado para ter média zero. …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se você olhar para o início deste post, o escritor menciona que a norma L2 tem uma solução única e a norma L1 tem possivelmente muitas soluções. Entendo isso em termos de regularização, mas não em termos do uso da norma L1 ou da norma L2 na função de …

16 regression  lasso  regularization 

Já existe um post neste site falando sobre o mesmo problema: Por que o encolhimento funciona? Mas, embora as respostas sejam populares, não acredito que a essência da questão seja realmente abordada. É bastante claro que a introdução de algum viés na estimativa reduz a variação e pode melhorar a …

15 regularization  ridge-regression  shrinkage 

Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear. Questão: Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)? pmaxpmaxp_{max}qmaxqmaxq_{max} q ⩽ q m um xp⩽pmaxp⩽pmaxp \leqslant p_{max}q⩽qmaxq⩽qmaxq \leqslant q_{max} Minhas perguntas adicionais …

15 time-series  arima  lasso  regularization  ridge-regression 

Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também passei pelo Cross Validated , mas não consigo encontrar …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Digamos que eu tenha um classificador de regressão logística. No aprendizado em lote normal, eu teria um termo regularizador para evitar o excesso de ajustes e manter meus pesos pequenos. Eu também normalizava e dimensionava meus recursos. Em um ambiente de aprendizado on-line, estou recebendo um fluxo contínuo de dados. …

15 machine-learning  normalization  regularization  online 

Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em seguida, realizei um teste de razão de verossimilhança desse modelo em …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Defina a estimativa do laço onde a i ^ {th} linha x_i \ in \ mathbb {R} ^ p da matriz de design X \ in \ mathbb {R} ^ {n \ times p} é um vetor de covariáveis ​​para explicar a resposta estocástica y_i (para i = 1, \ …

14 lasso  regularization 

Na regressão de crista, a função objetivo a ser minimizada é: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Isso pode ser otimizado usando o método multiplicador de Lagrange? Ou é uma diferenciação direta?

14 regression  regularization  ridge-regression 

Uma norma é única (pelo menos em parte) porque está no limite entre não convexo e convexo. Uma norma é a norma convexa 'mais esparsa' (certo?).L1L1L_1p=1p=1p=1L1L1L_1 Entendo que a norma euclidiana tem raízes na geometria e tem uma interpretação clara quando as dimensões têm as mesmas unidades. Mas não entendo …

13 regression  regularization  sparse 

\newcommand{\diag}{\operatorname{diag}} Temos o problema: supondo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Existe uma solução fechada neste caso? Eu tenho isso: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e , portanto, acho que a resposta …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação comece a …

13 deep-learning  regularization  overfitting  lstm 

Na seção 3.2 do Reconhecimento de padrões e aprendizado de máquina de Bishop , ele discute a decomposição da variação de viés, afirmando que, para uma função de perda ao quadrado, a perda esperada pode ser decomposta em um termo de viés ao quadrado (que descreve a que distância as …

13 self-study  variance  bias  regularization  loss-functions 

Existem vários artigos pesados ​​em matemática que descrevem o laço bayesiano, mas eu quero testar o código JAGS correto que eu possa usar. Alguém poderia postar um exemplo de código BUGS / JAGS que implementa regressão logística regularizada? Qualquer esquema (L1, L2, Elasticnet) seria ótimo, mas Lasso é o preferido. …

13 bayesian  logistic  lasso  jags  regularization 

Gostaria de obter os coeficientes para o problema do LASSO | | Y- Xβ| | +λ | | β| |1.||Y-Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. O problema é que as funções glmnet e lars dão respostas diferentes. Para a função glmnet, peço os coeficientes deem vez de apenas , mas ainda recebo respostas diferentes.λ …

13 r  machine-learning  regression  lasso  regularization