Por que os resíduos na regressão linear sempre somam zero quando uma interceptação é incluída?

Estou fazendo um curso sobre modelos de regressão e uma das propriedades fornecidas para a regressão linear é que os resíduos sempre somam zero quando uma interceptação é incluída.

Alguém pode fornecer uma boa explicação sobre por que esse é o caso?

Isso segue diretamente das equações normais, ou seja, as equações que o estimador OLS resolve,

$$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$$

O vetor dentro dos parênteses é obviamente o vetor residual ou a projeção de no complemento ortogonal do espaço da coluna de X , se você gosta de álgebra linear. Agora, incluir um vetor de uns na matriz X , que por sinal não precisa estar na primeira coluna, como é feito convencionalmente, leva a$\mathbf{y}$$X$$\mathbf{X}$

$$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$$

No problema de duas variáveis, isso é ainda mais simples, pois minimizar a soma dos resíduos quadrados nos leva a

$$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$$

quando tomamos a derivada em relação à interceptação. A partir disso, passamos a obter o estimador familiar

$$a = \bar{y} - b \bar{x}$$

onde novamente vemos que a construção de nossos estimadores impõe essa condição.

Caso você esteja procurando uma explicação bastante intuitiva.

Em certo sentido, o modelo de regressão linear nada mais é que uma média sofisticada. Para encontrar a média aritmética $\bar{x}$ sobre alguns valores $x_1, x_2, \dots, x_n$ , encontramos um valor que é uma medida de centralidade, no sentido de que a soma de todos os desvios (onde cada desvio é definido como $u_i = x_i - \bar{x}$) à direita do valor médio são iguais à soma de todos os desvios à esquerda dessa média. Não existe uma razão inerente para que essa medida seja boa, muito menos a melhor maneira de descrever a média de uma amostra, mas é certamente intuitiva e prática. O ponto importante é que, ao definir a média aritmética dessa maneira, segue-se necessariamente que, uma vez construída a média aritmética, todos os desvios dessa média devem somar zero por definição!

Na regressão linear, isso não é diferente. Ajustamos a linha de forma que a soma de todas as diferenças entre nossos valores ajustados (que estão na linha de regressão) e os valores reais que estão acima da linha seja exatamente igual à soma de todas as diferenças entre a linha de regressão e todos os valores abaixo da linha de regressão. linha. Novamente, não há uma razão inerente à razão pela qual essa é a melhor maneira de criar um ajuste, mas é direta e intuitivamente atraente. Assim como na média aritmética: construindo nossos valores ajustados dessa maneira, segue-se necessariamente, por construção, que todos os desvios dessa linha devem somar zero, pois, caso contrário, isso não seria uma recessão do OLS.

Quando uma intercepção está incluído na regressão linear

$$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$$ Em regressão de mínimos quadrados, a soma dos quadrados dos os erros são minimizados. $$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$$ Tire a derivada parcial SSE em relação a$\beta_0$e definindo-o como zero. $$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$$ Portanto, os resíduos sempre somam zero quando um intercepto é incluído na regressão linear.

$1$$X$

$$1 = Xe,$$ $e$$1^T(y - \hat{y})$

Portanto,

$$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$$

A simple derivation using matrix algebra:

$\sum e$ can be written as $1^Te$

Then

$1^Te = 1^T(M_x y)$ where $M_x$ is the orthogonal matrix. Since $M_x$ is symmetric we can rearrange so that $(M_x1)^Ty$

which equals zero if $M_x$ and $1$ are orthogonal, which is the case if the matrix of the regressors $x$ contains the intercept (a vector of $1$, indeed).

1. $e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
2. $\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ so $\hat{a} = \frac{1}{n}\sum v_i$
3. $\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..