Perguntas com a marcação «ridge-regression»

Digamos que eu queira estimar um grande número de parâmetros e quero penalizar alguns deles porque acredito que eles devem ter pouco efeito em comparação com os outros. Como decido qual esquema de penalização usar? Quando a regressão de crista é mais apropriada? Quando devo usar o laço?

167 regression  lasso  ridge-regression 

Estou lendo os livros sobre regressão linear. Existem algumas frases sobre a norma L1 e L2. Eu os conheço, só não entendo por que a norma L1 para modelos esparsos. Alguém pode dar uma explicação simples?

97 regression  lasso  regularization  ridge-regression 

Em que circunstâncias se deve considerar o uso de métodos de regularização (regressão de crista, laço ou ângulo mínimo) em vez de OLS? Caso isso ajude a direcionar a discussão, meu principal interesse é melhorar a precisão preditiva.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Cume estimativa coeficiente de regressão β R são os valores que minimizam oβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Minhas perguntas são: Se λ=0λ=0\lambda = 0 , vemos que a expressão acima se reduz ao RSS usual. E se λ→∞λ→∞\lambda \to \infty ? Não compreendo a explicação do livro didático sobre …

71 ridge-regression  statistical-learning  history 

Considere os três fenômenos a seguir. Paradoxo de Stein: dados alguns dados da distribuição normal multivariada em , a média da amostra não é um estimador muito bom da verdadeira média. Pode-se obter uma estimativa com erro quadrado médio mais baixo se reduzirmos todas as coordenadas da amostra em direção …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

A temporada de férias me deu a oportunidade de me aconchegar ao lado do fogo com Os elementos do aprendizado estatístico . Vindo de uma perspectiva econométrica (freqüentista), estou tendo problemas para entender os usos de métodos de encolhimento, como regressão de cume, laço e regressão de menor ângulo (LAR). …

61 lasso  ridge-regression  shrinkage  lars 

Entendo que a estimativa de regressão de crista é o que minimiza a soma residual do quadrado e uma penalidade no tamanho deββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] No entanto, não entendo completamente o significado do fato de que βridgeβridge\beta_\text{ridge} difere de βOLSβOLS\beta_\text{OLS} …

59 regression  least-squares  ridge-regression  shrinkage 

Para resolver problemas de seleção de modelos, vários métodos (LASSO, regressão de crista, etc.) reduzirão os coeficientes das variáveis ​​preditivas em direção a zero. Estou procurando uma explicação intuitiva sobre por que isso melhora a capacidade preditiva. Se o verdadeiro efeito da variável foi realmente muito grande, por que a …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Considere um bom problema de regressão antigo com preditores de e tamanho da amostra . A sabedoria usual é que o estimador OLS superajuste e geralmente será superado pelo estimador de regressão de crista:É padrão usar a validação cruzada para encontrar um parâmetro de regularização ideal . Aqui eu uso …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Estou tendo alguns problemas com a derivação da solução para regressão de crista. Conheço a solução de regressão sem o termo de regularização: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Porém, após adicionar o termo L2 à função cost, como é que a solução se tornaλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Na página 223 em Introdução ao aprendizado estatístico , os autores resumem as diferenças entre regressão de cordilheira e laço. Eles fornecem um exemplo (Figura 6.9) de quando "o laço tende a superar a regressão da crista em termos de viés, variância e MSE". Entendo por que o laço pode …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Estou curioso para por que geralmente há apenas regularização de normas e . Existem provas de por que estas são melhores?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor …

36 cross-validation  model-selection  ridge-regression 

Quero usar a regressão Lasso ou cume para um modelo com mais de 50.000 variáveis. Quero fazê-lo usando o pacote de software em R. Como posso estimar o parâmetro de encolhimento ( )?λλ\lambda Edições: Aqui está o ponto que eu cheguei: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), …

36 r  lasso  ridge-regression  high-dimensional 

A regularização líquida elástica é sempre preferida à Lasso & Ridge, pois parece resolver as desvantagens desses métodos? Qual é a intuição e qual é a matemática por trás da rede elástica?

35 regression  lasso  regularization  ridge-regression  elastic-net