Perguntas com a marcação «shrinkage»

Estou procurando uma definição não técnica do laço e para que ele é usado.

82 regression  lasso  regularization  shrinkage 

Considere os três fenômenos a seguir. Paradoxo de Stein: dados alguns dados da distribuição normal multivariada em , a média da amostra não é um estimador muito bom da verdadeira média. Pode-se obter uma estimativa com erro quadrado médio mais baixo se reduzirmos todas as coordenadas da amostra em direção …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

A temporada de férias me deu a oportunidade de me aconchegar ao lado do fogo com Os elementos do aprendizado estatístico . Vindo de uma perspectiva econométrica (freqüentista), estou tendo problemas para entender os usos de métodos de encolhimento, como regressão de cume, laço e regressão de menor ângulo (LAR). …

61 lasso  ridge-regression  shrinkage  lars 

Entendo que a estimativa de regressão de crista é o que minimiza a soma residual do quadrado e uma penalidade no tamanho deββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] No entanto, não entendo completamente o significado do fato de que βridgeβridge\beta_\text{ridge} difere de βOLSβOLS\beta_\text{OLS} …

59 regression  least-squares  ridge-regression  shrinkage 

Para resolver problemas de seleção de modelos, vários métodos (LASSO, regressão de crista, etc.) reduzirão os coeficientes das variáveis ​​preditivas em direção a zero. Estou procurando uma explicação intuitiva sobre por que isso melhora a capacidade preditiva. Se o verdadeiro efeito da variável foi realmente muito grande, por que a …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Considere um bom problema de regressão antigo com preditores de e tamanho da amostra . A sabedoria usual é que o estimador OLS superajuste e geralmente será superado pelo estimador de regressão de crista:É padrão usar a validação cruzada para encontrar um parâmetro de regularização ideal . Aqui eu uso …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Qual é a fórmula exata usada em R lm() para o quadrado R ajustado? Como eu posso interpretar isso? Fórmulas quadradas de r ajustadas Parece haver várias fórmulas para calcular o quadrado R ajustado. Wherry fórmula de: 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} Fórmula de McNemar: 1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} Fórmula do Senhor: 1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} Fórmula de Stein: 1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) …

35 r  regression  r-squared  lm  shrinkage 

Eu li três razões principais para padronizar variáveis ​​antes de algo como Lassoregressão: 1) Interpretabilidade dos coeficientes. 2) Capacidade de classificar a importância do coeficiente pela magnitude relativa das estimativas de coeficiente pós-retração. 3) Não há necessidade de interceptação. Mas estou pensando no ponto mais importante. Temos motivos para pensar …

28 normalization  lasso  standardization  regularization  shrinkage 

L =1n∥∥y-Xβ∥∥2+ λ1 1∥ β∥1 1+ λ2∥ β∥22,eu=1 1n__y-Xβ__2+λ1 1__β__1 1+λ2__β__22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1 1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Entretanto, o glmnetartigo subsequente Friedman, Hastie e Tibshirani (2010) Os caminhos de regularização para modelos lineares generalizados via …

27 regression  regularization  glmnet  elastic-net  shrinkage 

Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe …

26 regression  lasso  regularization  shrinkage  lars 

A regressão LASSO reduz os coeficientes para zero, fornecendo, assim, uma seleção de modelo eficaz. Eu acredito que em meus dados existem interações significativas entre covariáveis ​​nominais e contínuas. Não necessariamente, porém, são os 'efeitos principais' do modelo verdadeiro significativos (diferentes de zero). Claro que não sei disso, pois o …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Para um modelo linear , o termo de retração é sempre .y= β0 0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Qual é o motivo pelo qual não termo de viés (interceptação) ? Devemos reduzir o termo de viés nos modelos de redes neurais?β0 0β0 0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando um teste estatístico …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Eu tenho lido sobre o estimador de James-Stein. É definido, nestas notas , como θ^= ( 1 - p - 2∥X∥2) Xθ^=(1-p-2__X__2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X Li a prova, mas não entendo a seguinte declaração: Geometricamente, o estimador de James – Stein reduz cada componente de direção à origem ...XXX O …

19 estimation  terminology  shrinkage  steins-phenomenon 

Eu tenho uma pergunta sobre o cálculo do fator de encolhimento de James-Stein no artigo de 1977 da Scientific American por Bradley Efron e Carl Morris, "Paradoxo de Estatísticas de Stein" . Reuni os dados para os jogadores de beisebol e eles são fornecidos abaixo: Name, avg45, avgSeason Clemente, 0.400, …

18 estimation  shrinkage  steins-phenomenon