Maneira alternativa de derivar coeficientes de OLS

Em outra pergunta minha , um respondente usou a seguinte derivação do coeficiente de OLS:

Temos um modelo: onde não é observado. Então temos:
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ ondee. $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Isso parece diferente do usual que eu já vi na Econometria. Existe uma exposição mais explícita dessa derivação? Existe um nome para o matriz? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— Heisenberg
fonte

Tenho certeza de que está descrito nas notas da palestra de Hansen, mas não as tenho em minhas mãos agora.

— FooBar

A matriz é o "aniquilador" ou matriz de "máquina residual" associado com a matriz . É chamado de "aniquilador" porque (para sua própria matriz é claro). Está é chamado de "criador residual" porque , na regressão . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

É uma matriz simétrica e idempotente. É usado na prova do teorema de Gauss-Markov.

Além disso, é usado no teorema de Frisch-Waugh-Lovell , a partir do qual é possível obter resultados para a "regressão particionada", que diz que no modelo (em forma de matriz)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

nós temos isso

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Como é idempotente, podemos reescrever o acima $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

e desde também é simétrica temos $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Mas este é o estimador de mínimos quadrados do modelo

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

e também são os resíduos de regressão na matriz somente. $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

Por outras palavras: 1) Se regridem na matriz apenas, e então regride os resíduos deste estimativa sobre a matriz única, os estimativas obteremos serão matematicamente igual ao estimativas nós obterá se regredir em ambos e juntos, ao mesmo tempo, como uma regressão múltipla habitual. $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

Agora, assuma que não é uma matriz, mas apenas um regressor, digamos . Em seguida, representa os resíduos de regredir a variável na matriz regressor . E isso proporciona a intuição nos dá o efeito que "a parte de que é inexplicável pela " tem de "a parte de que resta inexplicável por ". $\mathbf X_1$ $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

Esta é uma parte emblemática da álgebra de mínimos quadrados clássica.

— Alecos Papadopoulos
fonte

Comecei a responder, mas havia muita sobreposição com essa resposta. Você pode encontrar muitas dessas informações no capítulo 3.2.4 da 7ª edição da "Análise Econométrica", de Bill Greene.

— cc7768

@ cc7768 Sim, essa é uma boa fonte para álgebra de mínimos quadrados. Mas não hesite em postar material adicional. Por exemplo, essencialmente minha resposta cobre apenas a segunda pergunta do OP.

— Alecos Papadopoulos

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

@Heisenberg Correct. Erro de digitação. Corrigido e adicionado um pouco mais.

— Alecos Papadopoulos