Como os resíduos se relacionam com os distúrbios subjacentes?

No método dos mínimos quadrados, queremos estimar os parâmetros desconhecidos no modelo:

Depois de fazer isso (para alguns valores observados), obtemos a linha de regressão ajustada:

Agora, obviamente, queremos verificar alguns gráficos para garantir que as suposições sejam cumpridas. Suponha que você queira verificar a homoscedasticidade; no entanto, para fazer isso, estamos realmente verificando os resíduos . Digamos que você examine o gráfico de valores residuais vs valores previstos, se isso nos mostra que a heterocedasticidade é aparente, então como isso se relaciona com o termo de perturbação ? A heterocedasticidade nos resíduos implica heterocedasticidade em termos de perturbação? ε $e_j$$\varepsilon_j$

A maneira mais simples de pensar sobre isso é que seus resíduos crus ( ) são estimativas dos distúrbios correspondentes ( ε j = e j ). No entanto, existem algumas complexidades extras. Por exemplo, apesar de estarmos assumindo no modelo OLS padrão que os erros / perturbações são independentes, os resíduos não podem ser todos. Em geral, apenas os resíduos N - p - 1 podem ser independentes, pois você usou graus de liberdade p - 1 na estimativa do modelo médio e os resíduos são limitados a somar a$e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$ . Além disso, o desvio padrão dos resíduos brutos não é realmente constante. Em geral, a linha de regressão é ajustada de forma que fique mais próxima, em média, dos pontos com maior alavancagem. Como resultado, o desvio padrão dos resíduos para esses pontos é menor que o dos pontos de baixa alavancagem. (Para mais informações, pode serútiller as respostas aqui:Interpretando plot.lm ()e / ou aqui:Como executar a análise residual de preditores independentes binários / dicotômicos em regressão linear?)$0$

A relação entre ε e ε é:$\hat{\varepsilon}$$\varepsilon$

onde , a matriz de chapéu, é X ( X T X ) - 1 X t .$H$$X(X^TX)^{-1}X^T$

O que significa dizer que ε i é uma combinação linear de todos os erros, mas geralmente a maioria do peso recai sobre o i um -ésimo.$\hat{\varepsilon}_i$$i$

Aqui está um exemplo, usando o carsconjunto de dados em R. Considere o ponto marcado em roxo:

$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Podemos reescrever isso como:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

ou mais geralmente

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

$h_{ii}$$i$$H$$w_j$$h_{ij}$

$N(0,\sigma^2)$$i$

Ou seja, em regressões bem comportadas, os resíduos podem ser tratados principalmente como uma estimativa moderadamente barulhenta de não observável o termo de erro. À medida que consideramos pontos mais distantes do centro, as coisas funcionam de maneira menos agradável (o resíduo se torna menos ponderado no erro e os pesos nos outros erros se tornam menos uniformes).

$X$