Convertendo o coeficiente beta da matriz para notação escalar na regressão OLS

Descobri para meus exames de econometria que, se eu esquecer a notação escalar, muitas vezes posso me salvar lembrando a notação da matriz e trabalhando para trás. No entanto, o seguinte me confundiu.

Dada a estimativa simples

\hat{y_{i}} = \hat{β_{0}} + \hat{β_{1}} x_{i 1}

$\hat{y_i} = \hat{\beta_0} + \hat{\beta_1}x_{i1}$

Como é que vamos

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y

$\boldsymbol{\hat{\beta}} = \boldsymbol{(X'X)}^{-1}\boldsymbol{X'y}$

para

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\beta}_1 = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2}$

Fico preso em

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}}

$\hat{\beta}_1 = \frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}$

— JuniorBurger
fonte

O que você está usando para ? Você incluiu uma coluna de unidades para o termo de interceptação?

X

$\boldsymbol X$

— whuber

Sim, supondo que o modelo é simplesmente y_i = beta_0 + \ beta_1x_ {i1}

— JuniorBurger

Meu ponto de vista é que não há inclusão da matriz centralizadora M_0 na forma da matriz, então como derivar o \ bar {x} e \ bar {y}?

— JuniorBurger

Se você incluiu essa coluna de unidades, não calculou o inverso de corretamente: deve ser uma matriz e aplicá-la ao portanto, fornecerá um vetor .

X^{'} X

$\boldsymbol {X^\prime X}$

2 \times 2

$2\times 2$

X^{'} y

$\boldsymbol{X^\prime y}$

2

$2$

— whuber

Desculpe, acho que posso não ter afirmado a pergunta claramente. Minha principal pergunta é de onde vêm as médias amostrais de xey? Como você chega à fórmula do beta escalar_1, Cov (x, y) sobre Var (x), começando na notação da matriz?

— JuniorBurger

Respostas:

Solução

A álgebra matricial pode ser desanimadora e, se não for realizada com elegância, pode exigir uma enorme quantidade de manipulação algébrica (supérflua). No entanto, a situação é muito mais simples do que parece, porque (criando a matriz colocando uma coluna de unidades primeiro e depois a coluna de valores independentes depois) $X$ $(x_i)$

X^{'} X = (\begin{matrix} n & S_{x} \\ S_{x} & S_{x x} \end{matrix})

$X^\prime X = \pmatrix{n & S_x \\ S_x & S_{xx}}$

X^{'} y = (\begin{matrix} S_{y} & S_{x y} \end{matrix})

$X^\prime y = \pmatrix{S_y & S_{xy}}$

( são abreviações úteis e razoavelmente comuns para somas das variáveis e seus produtos). Assim, as equações normais para as estimativas são - quando escritas como equações lineares simultâneas - meramente $S_{*}$ $\hat\beta = (\hat\beta_0, \hat\beta_1)$

\begin{matrix} n {\hat{β}}_{0} + S_{x} {\hat{β}}_{1} = S_{y} \\ S_{x} {\hat{β}}_{0} + S_{x x} {\hat{β}}_{1} = S_{x y}, \end{matrix}

$\matrix{n \hat\beta_0 + S_x\hat\beta_1 = S_y \\ S_x \hat\beta_0 + S_{xx}\hat\beta_1 = S_{xy},}$

que devem ser resolvidos para e Na verdade, você realmente não precisa resolver esse ab initio: tudo o que você precisa fazer neste momento é verificar qual fórmula para realmente funciona. Isso requer apenas álgebra elementar. Não mostrarei porque existe uma maneira melhor de produzir o mesmo resultado de uma maneira muito mais esclarecedora e generalizável. $\hat\beta_0$ $\hat\beta_1.$ $\hat \beta_1$

Motivação e Generalização

Lembre-se de que as equações normais são derivadas considerando o problema de minimizar a soma dos quadrados dos resíduos,

SSR = \sum_{i} {(y_{i} - (β_{0} + β_{1} x_{i}))}^{2} .

$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1 x_i)\right)^2.$

O aparecimento de corresponde a uma coluna de uns em , enquanto o aparecimento de corresponde a uma coluna em . Em geral, essas colunas não são ortogonais. (Lembre-se de que dizemos que dois vetores são ortogonais quando o produto escalar é zero. Geometricamente, isso significa que eles são perpendiculares. Consulte as referências para saber mais sobre isso.) Podemos torná-los ortogonais subtraindo alguns múltiplos de um deles do outro. A escolha mais fácil é subtrair uma constante de cada para tornar o resultado ortogonal à coluna constante; isto é, buscamos um número para o qual $\beta_0$ $X$ $\beta_1$ $(x_i)$ $X$ $x_i$ $c$

0 = (1, 1, \dots, 1) \cdot (x_{1} - c, x_{2} - c, \dots, x_{n} - c) = \sum_{i} (1 (x_{i} - c)) = S x - n c .

$0 = (1,1,\ldots, 1) \cdot (x_1-c, x_2-c, \ldots, x_n-c) = \sum_{i} (1(x_i-c)) = Sx - nc.$

A solução exclusiva é claramente a média do Portanto, vamos reescrever o modelo em termos das variáveis "centralizadas" Ele nos pede para minimizar $c = Sx/n = \bar x,$ $x_i.$ $x_i-\bar x.$

SSR = \sum_{i} {(y_{i} - (β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x})))}^{2} .

$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1\bar x + \beta_1 (x_i-\bar x))\right)^2.$

Para simplificar, escreva o termo constante desconhecido como

α = β_{0} + β_{1} \bar{x},

$\alpha = \beta_0 + \beta_1 \bar x,$

entendendo que, uma vez que as soluções e são obtidas, encontramos facilmente a estimativa $\hat\alpha$ $\hat\beta_1$

{\hat{β}}_{0} = \hat{α} - {\hat{β}}_{1} \bar{x} .

$\hat\beta_0 = \hat\alpha - \hat\beta_1\bar x.$

Em termos de incógnitas as equações normais são agora $(\hat\alpha,\hat\beta_1)$

(\begin{matrix} n & 0 \\ 0 & \sum_{i} (x_{i} - \bar{x})^{2} \end{matrix}) (\begin{matrix} \hat{α} \\ {\hat{β}}_{1} \end{matrix}) = (\begin{matrix} S y \\ \sum_{i} (x_{i} - \bar{x}) y_{i} \end{matrix}) .

$\pmatrix{n & 0 \\ 0 & \sum_i(x_i-\bar x)^2}\pmatrix{\hat\alpha\\\hat\beta_1}=\pmatrix{Sy \\ \sum_i (x_i-\bar x)y_i}.$

Quando escritas como duas equações lineares simultâneas, cada desconhecido é isolado em sua própria equação, o que é simples de resolver: é o que obtém colunas ortogonais em $X$ Em particular, a equação para é $\hat\beta_1$

\sum_{i} (x_{i} - \bar{x})^{2} {\hat{β}}_{1} = \sum_{i} (x_{i} - \bar{x}) y_{i} .

$\sum_i(x_i-\bar x)^2\ \hat\beta_1 = \sum_i (x_i-\bar x)y_i.$

É um passo algébrico curto e simples desta para o resultado desejado. (Use o fato de que ) $\sum_i (x_i-\bar x)\bar y = 0.$

A generalização para várias variáveis ocorre da mesma maneira: na primeira etapa, subtraia múltiplos adequados da primeira coluna de de cada uma das outras colunas para que todas as colunas resultantes sejam ortogonais à primeira coluna. (Lembre-se de que isso se resume a resolver uma equação linear para uma constante desconhecida que é fácil.) Repita subtraindo múltiplos adequados da segunda $X$ $c,$ coluna das (novas) terceira, quarta, ..., etc. colunas para torná-las ortogonais às duas primeiras colunas simultaneamente. Continue "varrendo" as colunas dessa maneira até que elas sejam mutuamente ortogonais. As equações normais resultantes envolverão no máximo uma variável por vez e, portanto, são simples de resolver. Finalmente, as soluções precisam ser convertidas novamente nas variáveis originais (assim como você precisa converter as estimativas e novamente em uma estimativa de no caso de regressão comum). A cada passo do caminho, tudo o que você está fazendo é criar novas equações a partir das antigas e resolver uma única variável de cada vez. $\hat\alpha$ $\hat\beta_1$ $\hat\beta_0$

Referências

Para uma explicação mais formal dessa abordagem para resolver as equações normais, consulte Ortogonalização de Gram-Schmidt .

Seu uso na regressão múltipla é discutido por Lynne Lamotte em The Gram-Schmidt Construction como base para modelos lineares , The American Statistician 68 (1), fevereiro de 2014.

Para ver como encontrar apenas uma estimativa de coeficiente sem precisar calcular as outras, consulte a análise em https://stats.stackexchange.com/a/166718/919 .

Para uma interpretação geométrica, consulte minhas respostas em https://stats.stackexchange.com/a/97881/919 , https://stats.stackexchange.com/a/113207/919 ,

— whuber
fonte

Se você regredir em uma constante e , sua matriz será Portanto, e Você pode fazer isso daqui? $x_i$ $X$

(\begin{matrix} 1 & x_{1} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{matrix})

$\begin{pmatrix}1 &x_1\\ \vdots&\vdots\\1 &x_n \end{pmatrix}$

X^{'} X = (\begin{matrix} n & \sum_{i} x_{i} \\ \sum_{i} x_{i} & \sum_{i} x_{i}^{2} \end{matrix})

$X'X=\begin{pmatrix}n &\sum_ix_i\\ \sum_ix_i&\sum_ix_i^2\\ \end{pmatrix}$

(X^{'} X)^{- 1} = \frac{1}{n \sum_{i} x_{i}^{2} - (\sum_{i} x_{i})^{2}} (\begin{matrix} \sum_{i} x_{i}^{2} & - \sum_{i} x_{i} \\ - \sum_{i} x_{i} & n \end{matrix})

$(X'X)^{-1}=\frac{1}{n\sum_ix_i^2-(\sum_ix_i)^2} \begin{pmatrix}\sum_ix_i^2 &-\sum_ix_i\\ -\sum_ix_i&n\\ \end{pmatrix}$

— Christoph Hanck
fonte

Ahh, acabei de assistir a um vídeo sobre o inverso de uma matriz ... claramente meu conhecimento de notações / operações de matriz não estava à altura!

— JuniorBurger

@ user212080 no caso de regressão linear simples, você poderia resolver o problema sem usar uma expressão padrão para o inverso de uma matriz.

X^{t} X β = X^{t} y

$X^tX\beta = X^ty$

— Sextus Empiricus

Para qualquer pessoa que esteja lutando com isso, escrevi tudo abaixo passo a passo.

Suponha que, para facilitar a explicação, tenhamos uma amostra mínima de 1 variável ( ) e apenas 2 observações ( ); Nossa estimativa em escalar é $x$ $k=1$ $n=2$ $\hat{y_i} = \hat{\beta_0}+\hat{\beta_1}x_i$

\hat{β} = (\begin{matrix} \hat{β_{0}} \\ \hat{β_{1}} \end{matrix})

$\begin{equation*} \boldsymbol{\hat{\beta}}=\begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} \end{equation*}$

y = (\begin{matrix} y_{i} \\ y_{i} \end{matrix})

$\begin{equation*} \boldsymbol{y}=\begin{pmatrix} y_i \\ y_i \end{pmatrix} \end{equation*}$

X = (\begin{matrix} 1 & x_{i} \\ 1 & x_{i} \end{matrix})

$\begin{equation*} \boldsymbol{X}=\begin{pmatrix} 1 & x_i \\ 1& x_i \end{pmatrix} \end{equation*}$

Portanto

X^{'} = (\begin{matrix} 1 & 1 \\ x_{i} & x_{i} \end{matrix})

$\begin{equation*} \boldsymbol{X'}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \end{equation*}$

X^{'} X = (\begin{matrix} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{matrix})

$\begin{equation*} \boldsymbol{X'X}=\begin{pmatrix} n & \sum_{i=1}^nx_i \\ \sum_{i=1}^nx_i & \sum_{i=1}^nx_i^2 \end{pmatrix} \end{equation*}$

Lembre-se das regras de \ textbf {matrizes inversas}, em que det [.] = O determinante da matriz e adj [.] = O adjugado (às vezes chamado de adjunto) da matriz .;

(X^{'} X)^{- 1} = \frac{1}{det[X^{'} X]} \times adj[X^{'} X]

$\begin{equation*} \boldsymbol{(X'X)^{-1}}= \frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} \\ \end{equation*}$

det[X^{'} X] = \frac{1}{a d - b c} = \frac{1}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}}

$\begin{equation*} \textrm{det[$\boldsymbol{X'X}$]}= \frac{1}{ad-bc}= \frac{1}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{equation*}$

adj[X^{'} X] = (\begin{matrix} d & - b \\ - c & a \end{matrix}) = (\begin{matrix} \sum_{i = 1}^{n} x_{i}^{2} & - \sum_{i = 1}^{n} x_{i} \\ - \sum_{i = 1}^{n} x_{i} & n \end{matrix})

$\begin{equation*} \textrm{adj[$\boldsymbol{X'X}$]} = \begin{pmatrix} d & -b \\ -c & a \end{pmatrix} =\begin{pmatrix} \sum_{i=1}^nx_i^2 & -\sum_{i=1}^nx_i \\ -\sum_{i=1}^nx_i & n \end{pmatrix} \end{equation*}$

Portanto

(X^{'} X)^{- 1} = \frac{1}{det[X^{'} X]} \times adj[X^{'} X] = (\begin{matrix} \frac{\sum_{i = 1}^{n} x_{i}^{2}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} & \frac{- \sum_{i = 1}^{n} x_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \\ \frac{- \sum_{i = 1}^{n} x_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} & \frac{n}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \end{matrix})

$\begin{equation} \boldsymbol{(X'X)^{-1}}=\frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \end{equation}$

X^{'} y = (\begin{matrix} 1 & 1 \\ x_{i} & x_{i} \end{matrix}) \times (\begin{matrix} y_{i} \\ y_{i} \end{matrix}) = (\begin{matrix} \sum_{i = 1}^{n} y_{i} \\ \sum_{i = 1}^{n} x_{i} y_{i} \end{matrix})

$\begin{equation*} \boldsymbol{X'y}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \times \begin{pmatrix} y_i \\ y_i \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{equation*}$

Portanto

\begin{aligned} \hat{β} & = (X^{'} X)^{- 1} X^{'} y \\ (\begin{matrix} \hat{β_{0}} \\ \hat{β_{1}} \end{matrix}) & = (\begin{matrix} \frac{\sum_{i = 1}^{n} x_{i}^{2}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} & \frac{- \sum_{i = 1}^{n} x_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \\ \frac{- \sum_{i = 1}^{n} x_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} & \frac{n}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \end{matrix}) \times (\begin{matrix} \sum_{i = 1}^{n} y_{i} \\ \sum_{i = 1}^{n} x_{i} y_{i} \end{matrix}) \end{aligned}

$\begin{align*} \boldsymbol{\hat{\beta}} & =\boldsymbol{(X'X)^{-1}}\boldsymbol{X'y}\\ \begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} & = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \times \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{align*}$

\begin{aligned} \hat{β_{1}} & = \frac{- \sum_{i = 1}^{n} x_{i} \times \sum_{i = 1}^{n} y_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} + \frac{n \times \sum_{i = 1}^{n} x_{i} y_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \\ \hat{β_{1}} & = \frac{n \sum_{i = 1}^{n} x_{i} y_{i} - \sum_{i = 1}^{n} x_{i} \sum_{i = 1}^{n} y_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \end{aligned}

$\begin{align*} \hat{\beta_1} & =\frac{-\sum_{i=1}^nx_i \times \sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} + \frac{n \times \sum_{i=1}^nx_iy_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ % \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - \sum_{i=1}^nx_i\sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \end{align*}$ Lembrando , portanto (da mesma forma para ); %

\frac{1}{n} \sum_{i = 1}^{n} x_{i} = \bar{x}

$\frac{1}{n}\sum_{i=1}^nx_i = \bar{x}$

\sum_{i = 1}^{n} x_{i} = n \bar{x}

$\sum_{i=1}^nx_i = n\bar{x}$

y_{i}

$y_i$

\begin{aligned} \hat{β_{1}} & = \frac{n \sum_{i = 1}^{n} x_{i} y_{i} - n \bar{x} n \bar{y}}{n \sum_{i = 1}^{n} x_{i}^{2} - (n \bar{x})^{2}} \\ \hat{β_{1}} & = \frac{n \sum_{i = 1}^{n} x_{i} y_{i} - n^{2} \bar{x} \bar{y}}{n \sum_{i = 1}^{n} x_{i}^{2} - n^{2} (\bar{x})^{2}} \\ Dividing by n; \\ \hat{β_{1}} & = \frac{\sum_{i = 1}^{n} x_{i} y_{i} - n \bar{x} \bar{y}}{\sum_{i = 1}^{n} x_{i}^{2} - n (\bar{x})^{2}} \end{aligned}

$\begin{align*} \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n\bar{x}n\bar{y}}{n\sum_{i=1}^nx_i^2-(n\bar{x})^2} \\ \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n^2\bar{x}\bar{y}}{n\sum_{i=1}^nx_i^2-n^2(\bar{x})^2} \\ \textrm{Dividing by $n$;} \\ \hat{\beta_1} & =\frac{\sum_{i=1}^nx_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^nx_i^2-n(\bar{x})^2} \\ \end{align*}$

\hat{β_{1}} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\begin{equation} \hat{\beta_1} = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2} \end{equation}$

— JuniorBurger
fonte