Na regressão linear, por que os resíduos de mínimos quadrados brutos são heterocedásticos?

7

Nas anotações de meu curso sobre um curso de regressão com relação à detecção de heterocedasticidade, há a seguinte citação:

"Como os resíduos dos mínimos quadrados apresentam variações desiguais mesmo no caso homoscedástico, é preferível usar os resíduos padronizados".

Minha intuição me diz que, como a linha de regressão LS necessariamente passa pelo centro da nuvem de dados, ela será mais adequada para pontos no meio do espaço covariável do que nas caudas, dando assim uma variação maior nos extremos.

Apesar disso, isso não parece necessário . E, ao mesmo tempo, me pergunto por que nos importamos com a homoscedasticidade em resíduos padronizados ou estudados e não nos resíduos brutos.

regression residuals heteroscedasticity

— Kuku
fonte

3

Para resíduos, a variação é menor nos extremos. Isso ocorre porque as observações mais extremas têm mais influência sobre a função de regressão. ( 'mais extrema' = mais longe da média em espaço-x, tal como medida pela distância Mahalanobis') [as fórmulas específicas são facilmente derivados ou pode ser encontrada em outras respostas no local.]

— Glen_b -Reinstate Monica

A resposta pode ser encontrada aqui: stats.stackexchange.com/questions/212656/…

— kjetil b halvorsen

11

Existe uma derivação da variação de um resíduo para o caso de regressão múltipla e algumas explicações adicionais aqui

— Glen_b -Reinstate Monica

4

Assumindo o modelo linear usual com variação constante $\sigma^2$ . Usarei a notação (e alguns resultados) de Alavancas e efeito de pontos de alavancagem . O modelo linear em forma de matriz é

Y = X β + ϵ

$Y= X\beta + \epsilon$ Onde

ϵ

$\epsilon$ é um vetor de

n

$n$ termos de erro do iid. Então a matriz do chapéu é

H = X (X^{T} X)^{- 1} X^{T}

$H=X(X^TX)^{-1}X^T$ , e seus termos diagonais são as alavancas

h_{i i}

$h_{ii}$ . Podemos mostrar que a variância dos resíduos

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i-\hat{y_i}$ é

σ^{2} (1 - h_{i i})

$\sigma^2 (1-h_{ii})$ (lembrar

0 < h_{i i} < 1

$0<h_{ii}<1$ .)

Portanto, nesse modelo, para obter resíduos de variação constante, dividimos por $\sqrt{1-h_{ii}}$ : os resíduos padronizados definidos por $r_i=\frac{y_i-\hat{y}_i}{\sqrt{1-h_{ii}}}$ tem variação constante. Portanto, para muitos usos na análise de resíduos, preferimos esses resíduos padronizados, por exemplo, na verificação da suposição de variação constante.

EDIT

Em um comentário, o OP escreve:

Até onde eu sei, a suposição formal não é "homoscedasticidade de resíduos padronizados", mas apenas resíduos por si só.

Isso confunde erros com resíduos . Os erros são os não observados $\epsilon_i$ na equação de regressão $y_i =\beta_0 +\sum_i \beta_i x_i +\epsilon_i$ , enquanto resíduos é a diferença observada entre a observação e a previsão do modelo. Homoskedastcity significa que todos os erros têm a mesma variação, não que os resíduos tenham variação constante. Se você deseja usar resíduos para testar / criticar a suposição de variação constante, é melhor usar uma versão dos resíduos que possuem variação constante (no modelo).

— kjetil b halvorsen
fonte

Com relação à segunda parte da minha pergunta, posso entender por que é mais conveniente usar resíduos padronizados, mas minha pergunta é mais abstrata: por que a heterocedasticidade natural não perturba por si só nossas condições de Gauss-Markov e estimativas de erro padrão . Até onde eu sei, a suposição formal não é "homoscedasticidade de resíduos padronizados", mas apenas resíduos por si só. Não estamos apenas "cobrindo o sol com um dedo"?

— Kuku

1

Suponha que você tenha três $x$ -valores: $-1,0, +1.$

As variáveis dependentes correspondentes $Y_1,Y_2,Y_3$ são onde está a aleatoriedade.

Agora desenhe a imagem. Você pode ver porque, se você se mudar $Y_2$ para cima ou para baixo, a linha ajustada se move para cima ou para baixo. (Apenas $1/3$ tanto quanto $Y_2$ movimentos). Mas o que acontece se você se mover $Y_3$ Para cima ou para baixo? A linha ajustada não se move apenas para cima ou para baixo; sua inclinação também aumenta ou diminui. Ou se você se mudar $Y_1$ para cima ou para baixo, então a inclinação fica menor ou maior, respectivamente. Portanto, a linha tem mais tendência a ficar perto do ponto de dados quando o ponto de dados é $x$ -valor está longe da média $x$ -valor do que quando está próximo da média $x$ -valor. Portanto, os resíduos observados apresentam uma variação menor quando o $x$ -valor está longe da média $x$ -valor do que quando o $x$ -valor está próximo da média $x$ -valor.

Os valores ajustados são

\begin{aligned} ({\hat{Y}}_{1 1}, {\hat{Y}}_{2}, {\hat{Y}}_{3}) \\ = & (\frac{2}{3} Y_{1 1} + \frac{1 1}{3} Y_{2}, \frac{1 1}{3} (Y_{1 1} + Y_{2} + Y_{3}), \frac{1 1}{3} Y_{2} + \frac{2}{3} Y_{3}) . \end{aligned}

$\begin{align} & \left(\widehat Y_1, \widehat Y_2, \widehat Y_3\right) \\[5pt] = {} & \left( \tfrac 2 3 Y_1+ \tfrac 1 3 Y_2, \,\,\, \tfrac 1 3 (Y_1+Y_2 + Y_3), \,\,\, \tfrac 1 3 Y_2 + \tfrac 2 3 Y_3 \right). \end{align}$ Então os resíduos são

\begin{aligned} (Y_{1 1}, Y_{2}, Y_{3}) - ({\hat{Y}}_{1 1}, {\hat{Y}}_{2}, {\hat{Y}}_{3}) \\ = & (\frac{1 1}{3} Y_{1 1} - \frac{1 1}{3} Y_{2}, - \frac{2}{3} Y_{1 1} + \frac{2}{3} Y_{2} - \frac{2}{3} Y_{3}, - \frac{1 1}{3} Y_{2} + \frac{1 1}{3} Y_{3}) . \end{aligned}

$\begin{align} & \left( Y_1, Y_2, Y_3 \right) - \left(\widehat Y_1, \widehat Y_2, \widehat Y_3\right) \\[5pt] = {} & \left( \tfrac 1 3 Y_1 - \tfrac 1 3 Y_2, \,\,\, -\tfrac 2 3 Y_1+ \tfrac 2 3 Y_2 - \tfrac 2 3 Y_3, \,\,\, -\tfrac 1 3 Y_2 + \tfrac 1 3 Y_3 \right). \end{align}$ A partir disso, é possível calcular as variações dos resíduos.

— Michael Hardy
fonte