O residual, e, é um estimador do erro,

Esta questão surgiu em outro tópico que eu comecei, então pensei em obter mais opiniões das pessoas sobre isso. Minha pergunta é

O residual, e, é um estimador do erro, ?$\epsilon$

A razão pela qual pergunto é a seguinte. No OLS, a variação dos resíduos, , é conhecida como variação da regressão (onde RSS é a soma residual dos quadrados). Da mesma forma, a raiz quadrada dessa variação, , é o erro padrão da regressão. Dado o fato de que a raiz quadrada da variação, , é um erro padrão, isso significa que essa variação é a variação de um estimador. Já sabemos que é a variação dos resíduos, portanto, o residual é um estimador ?? (Presumo de )$\frac{\text{RSS}}{(n - K )}$$\sqrt\frac{\text{RSS}}{(n - K )}$$\frac{\text{RSS}}{(n - K )}$$\epsilon$

Pensamentos??

Certamente os resíduos são algum tipo de estimador de (para ser claro, a definição de residual é o estimador, o residual observado é uma estimativa). Se o modelo estiver correto, às vezes eles podem ser uma estimativa bastante boa.$\epsilon$

De fato

,$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$

onde é a matriz de chapéu (porque 'coloca o chapéu em' y ) - também chamada de matriz de projeção.$H = X(X'X)^{-1} X'$$y$

http://en.wikipedia.org/wiki/Hat_matrix

Ou seja, cada 's são uma combinação linear dos ϵ ' s; se 1 - h i i é razoavelmente grande em relação a ∑ j ≠ i h i j (se H for 'pequeno' em relação a I), então a maior parte do peso está no i- ésimo erro (esse não é frequentemente o caso, embora )$e$$\epsilon$$1-h_{ii}$$\sum_{j\neq i}h_{ij}$$H$$i^\textrm{th}$

Observe que terão a mesma expectativa e variância comoεiese os elementos deHsão pequenos, na forma acima descrita, será altamente correlacionada com ele - na verdade, se eu fiz o meu direito de álgebra, a correlação entreeieεié realmente:corr(ei,εi)=$e_i/\sqrt{1-h_{ii}}$$\epsilon_i$ $H$ $e_i$$\epsilon_i$ .$\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$