Perguntas com a marcação «regularization»

L =1n∥∥y-Xβ∥∥2+ λ1 1∥ β∥1 1+ λ2∥ β∥22,eu=1 1n__y-Xβ__2+λ1 1__β__1 1+λ2__β__22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1 1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Entretanto, o glmnetartigo subsequente Friedman, Hastie e Tibshirani (2010) Os caminhos de regularização para modelos lineares generalizados via …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Quando eu introduzo conceitos para meus alunos, geralmente acho divertido dizer a eles onde a terminologia se origina ("regressão", por exemplo, é um termo com uma origem interessante). Não consegui descobrir o histórico / plano de fundo do termo "regularização" em estatística / aprendizado de máquina. Então, qual é a …

27 terminology  regularization  history  tikhonov-regularization 

Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão BBB é equivalente ao modo posterior de BBB no qual a distribuição anterior para cada BiBiB_i é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace). Eu tenho tentado provar isso, alguém pode …

27 regression  bayesian  lasso  prior  regularization 

Concluí o curso Machine Learning de Andrew Ng há cerca de um ano e agora estou escrevendo minha exploração matemática do ensino médio sobre o funcionamento da regressão logística e técnicas para otimizar o desempenho. Uma dessas técnicas é, obviamente, a regularização. O objetivo da regularização é evitar o ajuste …

27 regression  machine-learning  optimization  regularization  overfitting 

Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe …

26 regression  lasso  regularization  shrinkage  lars 

Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k …

26 regression  feature-selection  lasso  regularization 

Suponha que eu estou correndo uma regressão . Por seleccionando top principais componentes do , é que o modelo de manter o seu poder preditivo em ?k X YY∼XY∼XY \sim XkkkXXXYYY Eu entendo que a partir de-redução de dimensionalidade / ponto de recurso de seleção de vista, se são os …

25 regression  classification  pca  dimensionality-reduction  regularization 

Tenho várias perguntas sobre a penalidade de cordilheira no contexto de mínimos quadrados: βr i dge= ( λ ID+ X′X)- 1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) A expressão sugere que a matriz de covariância de X é reduzida em direção a uma matriz diagonal, o que significa que (assumindo …

25 regression  pca  regularization  ridge-regression 

Suponha que eu tenha um conjunto de dados para uma tarefa de classificação estatística supervisionada, por exemplo, por meio de um classificador Bayes. Este conjunto de dados consiste em 20 recursos e eu quero reduzi-lo a 2 recursos por meio de técnicas de redução de dimensionalidade, como Análise de Componentes …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para …

24 lasso  regularization  loss-functions  ridge-regression 

Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que minimiza …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Eu estava examinando a literatura sobre regularização e frequentemente vejo parágrafos que vinculam a regulatização de L2 ao prior gaussiano e L1 com Laplace centrado em zero. Sei como esses anteriores são, mas não entendo como isso se traduz, por exemplo, em pesos no modelo linear. Em L1, se eu …

22 regression  bayesian  prior  regularization  laplace-distribution 

Li os Elementos do aprendizado estatístico e não conseguia entender o que é a Seção 3.7 "Seleção e contração de múltiplos resultados". Ele fala sobre RRR (regressão de classificação reduzida), e só consigo entender que a premissa é sobre um modelo linear multivariado generalizado em que os coeficientes são desconhecidos …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Eu quero entender melhor os pacotes R Larse Glmnet, que são usados ​​para resolver o problema de Lasso: (parapVariáveis ​​eamostras deN, consultewww.stanford.edu/~hastie/Papers/glmnet.pdfna página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1N( yEu- β0 0- xTEuβ)2+ λ | | β| |eu1]mEun(β0 0β)∈Rp+1[12N∑Eu=1N(yEu-β0 0-xEuTβ)2+λ||β||eu1]min_{(\beta_0 \beta) \in R^{p+1}} …

22 r  regression  machine-learning  lasso  regularization