Perguntas com a marcação «ridge-regression»

Regularização de Tikhonov e regressão de crista são termos frequentemente usados ​​como se fossem idênticos. É possível especificar exatamente qual é a diferença?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Sou engenheiro de software aprendendo aprendizado de máquina, principalmente através dos cursos de Andrew Ng . Enquanto estudava regressão linear com regularização , encontrei termos que são confusos: Regressão com regularização L1 ou regularização L2 LAÇO Regressão de Ridge Então, minhas perguntas: A regressão com regularização L1 é exatamente igual …

33 regression  terminology  lasso  regularization  ridge-regression 

Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

Nota: Eu sei que L1 tem propriedade de seleção de recurso. Estou tentando entender qual escolher quando a seleção de recursos é completamente irrelevante. Como decidir qual regularização (L1 ou L2) usar? Quais são os prós e os contras de cada regularização L1 / L2? É recomendável primeiro fazer a …

30 regression  lasso  regularization  ridge-regression 

Estou usando o glmnet para calcular estimativas de regressão de crista. Eu obtive alguns resultados que me fizeram suspeitar que o glmnet está realmente fazendo o que eu acho que ele faz. Para verificar isso, escrevi um script R simples, onde comparo o resultado da regressão de cume feita por …

28 r  ridge-regression  glmnet 

Tenho várias perguntas sobre a penalidade de cordilheira no contexto de mínimos quadrados: βr i dge= ( λ ID+ X′X)- 1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) A expressão sugere que a matriz de covariância de X é reduzida em direção a uma matriz diagonal, o que significa que (assumindo …

25 regression  pca  regularization  ridge-regression 

Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para …

24 lasso  regularization  loss-functions  ridge-regression 

Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Considere a regressão de crista com uma restrição adicional exigindo que tenha soma unitária dos quadrados (equivalentemente, variação unitária); se necessário, pode-se supor que possui soma unitária dos quadrados:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Qual é o limite de β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Suponha que eu esteja tentando estimar um grande número de parâmetros a partir de alguns dados de alta dimensão, usando algum tipo de estimativa regularizada. O regularizador introduz algum viés nas estimativas, mas ainda pode ser um bom compromisso, porque a redução na variação deve mais do que compensar isso. …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Para um modelo linear , o termo de retração é sempre .y= β0 0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Qual é o motivo pelo qual não termo de viés (interceptação) ? Devemos reduzir o termo de viés nos modelos de redes neurais?β0 0β0 0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Considere o modelo padrão para regressão múltipla onde , para que normalidade, homoscedasticidade e não correlação de erros sejam .ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2Eun)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Suponha que realizamos uma regressão de crista, adicionando a …

21 regression  assumptions  ridge-regression 

Eu entendi como a regressão da crista reduz os coeficientes em direção a zero geometricamente. Além disso, sei como provar isso no "Caso Ortonormal" especial, mas estou confuso de como isso funciona no caso geral via "Decomposição espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Estou usando o pacote R penalizado para obter estimativas reduzidas de coeficientes para um conjunto de dados em que tenho muitos preditores e pouco conhecimento de quais são importantes. Depois de escolher os parâmetros de ajuste L1 e L2 e ficar satisfeito com meus coeficientes, existe uma maneira estatisticamente sólida …

20 regression  lasso  stepwise-regression  ridge-regression 

Lembro-me de ter lido em algum lugar na web uma conexão entre regressão de cumeeira (com regularização ) e regressão PCA: enquanto estiver usando regressão regularizada com hiperparâmetro , se , a regressão será equivalente a remover o Variável de PC com o menor valor próprio.ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ → 0λ→0 0\lambda \to …

19 regression  pca  regularization  ridge-regression