Regressão linear: * Por que * você pode particionar somas de quadrados?

9

Esta postagem refere-se a um modelo de regressão linear bivariada, . Eu sempre tomei a particionamento da soma total de quadrados (SSTO) em soma de quadrados por erro (SSE) e soma de quadrados para o modelo (SSR) com fé, mas depois que comecei a realmente pensar sobre isso, não entendi por que funciona ... $Y_i = \beta_0 + \beta_1x_i$

A parte que eu não entendo:

$y_i$ : um valor observado de y

$\bar{y}$ : a média de todos os s observados $y_i$

$\hat{y}_i$ : o valor ajustado / previsto de y para uma determinada observação x

$y_i - \hat{y}_i$ : Residual / erro (se ao quadrado e somado para todas as observações, é SSE)

$\hat{y}_i - \bar{y}$ : quanto o valor ajustado do modelo difere da média (se ao quadrado e somado para todas as observações, isso é SSR)

$y_i - \bar{y}$ : quanto um valor observado difere da média (se comparado e somado para todas as observações, esse é o SSTO).

Eu posso entender por que, para uma única observação, sem esquadrinhar nada, . E eu posso entender por que, se você deseja adicionar coisas a todas as observações, você precisa quadrá-las ou elas somam 0. $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

A parte que eu não entendo é o porquê (por exemplo, SSTO = SSR + SSE). Parece que se você tem uma situação em que , então , não . Por que não é esse o caso aqui? $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— bluemouse
fonte

5

Você deixou o somatório em seu último parágrafo. SST = SSR + SSE é uma soma sobre , mas sua igualdade que você escreveu imediatamente antes de ela não ser verdadeira sem o sinal de soma lá.

i

$i$

— Glen_b -Reinstala Monica

No seu último parágrafo, você deseja (por exemplo, SSTO = SSR + SSE) não (por exemplo, SSTO = SSR + SSE). "eg" é uma abreviação da frase em latim " exempli gratia " ou "por exemplo" em inglês. "ie" é uma abreviação de " id est " e pode ser lido em inglês como "isso é".

— Matthew Gunn

9

Parece que se você tem uma situação em que , então , não . Por que não é esse o caso aqui? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

Conceitualmente, a idéia é que porque e são ortogonais (isto é, são perpendiculares). $BC = 0$ $B$ $C$

No contexto da regressão linear aqui, os resíduos são ortogonais à previsão modificada . A previsão da regressão linear cria uma decomposição ortogonal de no mesmo sentido que é uma decomposição ortogonal. $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

Versão de álgebra linear:

Deixei:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

A regressão linear (com uma constante incluída) decompõe na soma de dois vetores: uma previsão e um $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

Vamos indica o produto escalar . (Em geral, pode ser o produto interno .) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

Onde a última linha decorre do fato de que (ou seja, que e são ortogonais). Você pode provar que e são ortogonais com base em como a regressão ordinária de mínimos quadrados constrói . $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ é a projeção linear de no subespaço definido pelo intervalo linear dos regressores , , etc. residual é ortogonal a todo o subespaço, portanto (que fica no intervalo de , , etc ...) é ortogonal a . $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

Observe que, como defini como o produto escalar, é simplesmente outra maneira de escrever (ou seja, SSTO = SSR + SSE) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— Matthew Gunn
fonte

8

O ponto principal é mostrar que certos vetores são ortogonais e depois usam o teorema de Pitágoras.

Vamos considerar a regressão linear multivariada . Sabemos que o estimador OLS é . Agora considere a estimativa $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (a matriz H também é chamada de matriz "hat")

onde é uma matriz de projeção ortogonal de Y em . Agora temos $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

onde é uma matriz de projeção no complemento ortogonal de que é . Assim, sabemos que e são ortogonais. $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

Agora considere um submodelo $Y = X_0\beta_0 + \epsilon$

onde e da mesma forma, temos o estimador OLS e estimamos e com a matriz de projeção em . Da mesma forma, temos que e são ortogonais. E agora $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

onde novamente é uma matriz de projeção ortogonal no complemento de que é . Portanto, temos a ortogonalidade de e . Então, no final, temos $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

e finalmente $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Por fim, a média é simplesmente ao considerar o modelo nulo . $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Łukasz Grad
fonte

Obrigado pela sua resposta! O que é S () (como em S (X) na sua postagem)?

— Bluesouse

S (X)

$S(X)$ é um subespaço gerado pelas colunas da matriz

X

$X$

— Łukasz Grad