Como derivar o erro padrão do coeficiente de regressão linear

20

Para esse modelo de regressão linear univariada, determinado conjunto de dados

y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$ , as estimativas dos coeficientes são

Aqui está a minha pergunta, de acordo com o livro eWikipedia, o erro padrão da

é

{\hat{β}}_{1} = \frac{\sum_{i} x_{i} y_{i} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \sum_{i} x_{i}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

Como e por quê?

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{Eu} {\hat{ϵ}}_{Eu}^{2}}{(n - 2) \sum_{Eu} (x_{Eu} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— abacate
fonte

1

stats.stackexchange.com/questions/44838/…

— ocram

@ram, obrigado, mas não sou capaz de lidar com coisas de matriz, vou tentar.

— abacate

1

(n - 2)

$(n-2)$

15

3º comentário acima: eu já entendi como isso acontece. Mas ainda há uma pergunta: no meu post, o erro padrão tem (n-2), onde, de acordo com a sua resposta, não, por quê?

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{Eu}^{2} - (\sum x_{Eu})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \sum_{Eu} (x_{Eu} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{Eu} (x_{Eu} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{Eu} {\hat{ϵ}}_{Eu}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$

n - 2

$n-2$

— ocram
fonte

1

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

2

Outra maneira de pensar sobre o n-2 df é que usamos 2 meios para estimar o coeficiente de inclinação (a média de Y e X)

df da Wikipedia: "... Em geral, os graus de liberdade de uma estimativa de um parâmetro são iguais ao número de pontuações independentes que entram na estimativa menos o número de parâmetros usados como etapas intermediárias na estimativa do próprio parâmetro . "

— Eivind
fonte

2

Isso não é realmente uma derivação como tal, embora seja uma intuição. Para algumas sutilezas relacionadas a isso, consulte Como entender os graus de liberdade?

— Silverfish 23/03