Perguntas com a marcação «least-squares»

Refere-se a uma técnica de estimativa geral que seleciona o valor do parâmetro para minimizar a diferença ao quadrado entre duas quantidades, como o valor observado de uma variável e o valor esperado dessa observação, condicionado ao valor do parâmetro. Os modelos lineares gaussianos são ajustados por mínimos quadrados e mínimos quadrados é a ideia subjacente ao uso do erro quadrático médio (MEE) como forma de avaliar um estimador.

3
Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal?
Entendo que a estimativa de regressão de crista é o que minimiza a soma residual do quadrado e uma penalidade no tamanho deββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] No entanto, não entendo completamente o significado do fato de que βridgeβridge\beta_\text{ridge} difere de βOLSβOLS\beta_\text{OLS} …
3
De onde vem o equívoco de que Y deve ser normalmente distribuído?
Fontes aparentemente respeitáveis ​​afirmam que a variável dependente deve ser normalmente distribuída: Pressupostos do modelo: YYY é normalmente distribuído, erros são normalmente distribuídos, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) e independente, e XXX é fixo e a variação constante σ2σ2\sigma^2 . Penn State, STAT 504 Análise de dados discretos Em segundo lugar, a …
5
Regressão quando os resíduos de OLS normalmente não são distribuídos
Existem vários tópicos neste site que discutem como determinar se os resíduos do OLS são normalmente distribuídos normalmente assintoticamente . Outra maneira de avaliar a normalidade dos resíduos com o código R é fornecida nesta excelente resposta . Esta é outra discussão sobre a diferença prática entre resíduos padronizados e …
5
Como derivar a solução de regressão de crista?
Estou tendo alguns problemas com a derivação da solução para regressão de crista. Conheço a solução de regressão sem o termo de regularização: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Porém, após adicionar o termo L2 à função cost, como é que a solução se tornaλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.
8
É válido incluir uma medida de linha de base como variável de controle ao testar o efeito de uma variável independente nas pontuações de mudança?
Estou tentando executar uma regressão OLS: DV: Alteração de peso ao longo de um ano (peso inicial - peso final) IV: Se você se exercita ou não. No entanto, parece razoável que pessoas mais pesadas percam mais peso por unidade de exercício do que pessoas mais magras. Assim, eu queria …
1
Prova de que os coeficientes em um modelo OLS seguem uma distribuição t com (nk) graus de liberdade
fundo Suponha que tenhamos um modelo de Mínimos Quadrados Ordinários em que tenhamos coeficientes em nosso modelo de regressão, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} onde é um vetor de coeficientes, é a matriz de design definida porββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & …
1
Cálculo da repetibilidade dos efeitos de um modelo mais antigo
Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
2
Por que o RSS é distribuído chi square times np?
Gostaria de entender por que, no âmbito do modelo OLS, o RSS (soma dos quadrados dos resíduos) é distribuído ( sendo o número de parâmetros do modelo, o número de observações).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Peço desculpas por fazer uma pergunta tão básica, mas parece que não consigo encontrar a resposta on-line (ou …
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.