Por que a inclinação sempre é exatamente 1 ao regredir os erros nos resíduos usando o OLS?

10

Eu estava experimentando a relação entre os erros e os resíduos usando algumas simulações simples em R. Uma coisa que eu descobri é que, independentemente do tamanho da amostra ou variação de erro, sempre consigo exatamente $1$ para a inclinação quando você se encaixa no modelo

e r r o r s \sim β_{0 0} + β_{1 1} \times r e s Eu d você uma eu s

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

Aqui está a simulação que eu estava fazendo:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

ee rsão altamente (mas não perfeitamente) correlacionados, mesmo para amostras pequenas, mas não consigo descobrir por que isso acontece automaticamente. Uma explicação matemática ou geométrica seria apreciada.

regression least-squares residuals

— GoF_Logistic
fonte

5

No triângulo plano OXY, com base OX, as altitudes dos lados YO e XY são a altitude do próprio triângulo. No fim, essas altitudes são dadas pelos coeficientes de lm(y~r), lm(e~r)e lm(r~r)que, portanto, devem ser todos iguais. O último, obviamente, é

. Experimente todos os três desses comandos para ver. Para que o último funcione, é necessário criar uma cópia , como . Para obter mais informações sobre diagramas geométricos de regressão, consulte stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

11

Obrigado @whuber. Gostaria de fazer uma resposta para que eu possa aceitá-la ou talvez marque isso como uma duplicata?

— GoF_Logistic 06/06

11

Não acho que seja uma duplicata, então expandi o comentário para uma resposta.

— whuber

11

a resposta do whuber é ótima! (+1) Eu resolvi o problema usando a notação mais familiar para mim e calculei que a derivação (menos interessante, mais rotineira) pode valer a pena incluir aqui.

Vamos ser o modelo de regressão, para e o ruído. Em seguida, a regressão de contra as colunas de tem as equações normais produzindo estimativas Portanto a regressão possui residuais $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {(X^{T} X)}^{- 1 1} X^{T} y .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$

para

r = y - X \hat{β} = (Eu - H) y = (Eu - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

.

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Regressar em resulta em uma inclinação estimada dada por $\epsilon$ $r$ desdeé simétrico e idempotente equase certamente.

\begin{aligned} (r^{T} r)^{- 1 1} r^{T} ϵ & = {({[(Eu - H) ϵ]}^{T} [(Eu - H) ϵ])}^{- 1 1} {[(Eu - H) ϵ]}^{T} ϵ \\ = \frac{ϵ^{T} {(Eu - H)}^{T} ϵ}{ϵ^{T} {(Eu - H)}^{T} (Eu - H) ϵ} \\ = \frac{ϵ^{T} (Eu - H) ϵ}{ϵ^{T} (Eu - H) ϵ} \\ = 1 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

Além disso, esse argumento também se aplica se incluirmos uma interceptação quando realizamos a regressão dos erros nos resíduos se uma interceptação foi incluída na regressão original, uma vez que as covariáveis são ortogonais (ou seja, , das equações normais) . $1^T r = 0$

— user795305
fonte

+1 É sempre bom ver uma solução elaborada com cuidado e clareza.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— whuber
fonte