Independência média condicional implica imparcialidade e consistência do estimador OLS

Considere o seguinte modelo de regressão múltipla:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Aqui é um vetor coluna; Matriz a ; a vetor de coluna; a matriz; a vetor de coluna; e , o termo do erro, um vetor de coluna . $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

QUESTÃO

Meu professor, o livro Introdução à Econometria, 3ª ed. por James H. Stock e Mark W. Watson, p. 281, e Econometria: Sessão de Revisão do Exame de Honra (PDF) , p. 7, expressou o seguinte para mim.

Se assumirmos o que é chamado de independência média condicional , que por definição significa que $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
e se a suposição de mínimos quadrados for satisfeita, exceto a suposição condicional média zero $E(U|X,Z)=0$ (então assumimos $E(U|X,Z)=E(U|Z) \neq 0$ ) (consulte 1 -3 abaixo),
então, o estimador OLS $\hat{\beta}$ de $\beta$ em $(1)$ permanece imparcial e consistente, sob esse conjunto mais fraco de suposições.

Como provo essa proposição? Ou seja, os itens 1 e 2 acima implicam que a estimativa OLS de nos fornece um estimador imparcial e consistente para ? Existe algum artigo de pesquisa que comprove essa proposição? $\beta$ $\beta$

COMENTE

O caso mais simples é dado considerando-se o modelo de regressão linear e provando que a OLS estima de é imparcial se para cada .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

PROVA DE UNBIASEDNESS, ASSUMINDO QUE E SÃO DISTRIBUÍDOS CONJUNTAMENTE $U_i$ $Z_i$

Defina e eAssim pode ser reescrito como Por segue-se que Agora, como e são normalmente distribuídos em conjunto, a teoria das distribuições normais, cf. Derivando as distribuições condicionais de uma distribuição normal multivariada , diz que (de fato, não precisamos assumir a normalidade das articulações, mas apenas essa identidade) para alguns por vetor $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Agora torna-se Para o modelo todas as suposições de mínimos quadrados são satisfeitas, pois o termo de erro satisfaz a suposição de condições condicionais. significa zero. Isso implica que a estimativa de OLS de será imparcial, pois se deixarmos e deixar ser o por matriz composta de e , a estimativa de OLS de em é dada considerando o seguinte: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

e assim onde a segunda linha segue por . Portanto, é uma estimativa condicionalmente imparcial de já que a estimativa do OLS fornecida para o modelo coicida com a fornecida para o modelo . Agora, pela lei da expectativa total e, portanto, é um estimador imparcial para .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(Pode-se observar que , de modo que o coeficiente em não seja necessariamente imparcial.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

No entanto, o caso especial acima pressupõe que e são normalmente distribuídos em conjunto. Como provar a proposição sem essa suposição? $U_i$ $Z_i$

Supondo que sempre suficiente, é claro (cf. ), mas devo derivar o resultado apenas usando e a suposição de mínimos quadrados, excluindo a suposição Condial Mean Zero ( ver abaixo). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

RELATIVO À CONSISTÊNCIA

Penso que também se pode ver que a estimativa é consistente para observando que no modelo de regressão todas as suposições de mínimos quadrados são satisfeitas, incluindo a suposição de que o (novo) termo de erro satisfaz a Suposição Condicional do Zero Médio (cf. e veja abaixo). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Posso acrescentar uma prova de consistência mais tarde, baseada em uma série de exercícios em Introdução à Econometria, 3ª ed. por James H. Stock e Mark W. Watson, cap. 18. No entanto, essa prova é bastante longa. Mas o ponto aqui é que a prova fornecida nos exercícios assume , então ainda estou me perguntando se a suposição realmente é suficiente. $(**)$ $(2)$

SUBQUERY 1

Em Introdução à Econometria, 3ª ed. por James H. Stock e Mark W. Watson, diz-se, na p. 300, que a suposição pode ser "relaxada" usando a teoria da regressão não linear. O que eles podem ou querem dizer com isso? $(**)$

AS PRIMEIRAS PREMISSAS PRAÇAS

Excluo aqui a suposição condicional do zero médio que pois a proposição que tentamos provar aqui permite casos em que . Estes são por exemplo, os casos quando está correlacionada com . Cf. Econometria: Sessão de Revisão do Exame de Honra (PDF) , p. 7) $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

A suposição de mínimos quadrados é a seguinte.

As distribuições conjuntas de , são iid, onde é o -ésimo elemento em e onde e são os vetores de linha em e . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Grandes valores atípicos é improvável, ou seja, para cada , e tem finitos quarto momentos, onde é o : th elemento em . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ possui uma classificação de coluna completa (ou seja, não há multicolinearidade perfeita; isso garante a inversibilidade de ). $W^TW$
( Premissas estendidas de mínimos quadrados : embora eu ache que isso não seja necessário (e me foi dito que não é), também podemos assumir a homosquasticidade, ou seja, para cada , e que a distribuição condicional de fornecida é normal para cada (ou seja, temos erros normais.)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

NOTA SOBRE TERMINOLOGIA

Em , a suposição Condial Mean Zero é a suposição de que . A suposição Condicional da Independência Média, no entanto, é a suposição de que . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Essa terminologia é usada, por exemplo, em Introdução à Econometria, 3ª ed. por James H. Stock e Mark W. Watson, p. 281; e Econometria Analysis of Cross Section and Panel Data, 1ª ed. por Jeffrey M. Wooldridge, p. 607. Consulte também Restrições de independência condicional: teste e estimativa para discussões semelhantes.

PENSAMENTOS ADICIONAIS E SUBSTITUIÇÃO 2

Penso que, contrariamente a James H. Stock e Mark W. Watson, a independência média condicional não garante uma estimativa imparcial de da OLS . Isso ocorre porque pode assumir formas não lineares como que é um polinômio em ou onde é algum parâmetro ainda a ser estimado (aqui estou usando a exponencial da matriz ) e, então, acho que a regressão não linear deve ser aplicada, o que geralmente nos deixa com estimativas tendenciosas. Além disso, a estimativa de OLS em (1) de pode nem coincidir com a estimativa de OLS de $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ em se assume certas formas não lineares. (Psicologicamente, também acho que a afirmação feita no livro de Stock & Watson é boa demais para ser verdadeira.) $(4)$ $E(U|Z)$

Assim, uma pergunta adicional é se existe algum contraexemplo à proposição de que a independência média condicional leva a uma estimativa OLS imparcial?

SUBQUERY 3

Em Econometrics principalmente inofensivos, Angrist & Pischke argumentam na subseção 3.3, p. 68--91, que sob independência condicional (IC), ou seja, sendo independente de dado (que é uma condição mais forte, eu acho, do que a suposição de independência média condicional dada acima), existe uma conexão estreita entre estimativas correspondentes de o efeito de em e os coeficientes em na regressão de em e que motiva que, sob CI, a estimativa OLS do coeficiente em em $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ é menos tendencioso do que se o IC não se mantiver (tudo o resto é igual).

Agora, essa idéia pode de alguma forma ser usada para responder à minha pergunta principal aqui?

— Elias
fonte

@ Xi'an O que você quer dizer? Essa é a definição de independência média condicional dada no meu livro: Se na regressão linear temos , então dizemos que temos independência média condicional. Eu apenas pensei que minha maneira de escrever era mais geral.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an Como você definiria "independência condicional $ ce" neste caso? Na minha opinião, "independência condicional" é um conceito distinto de "independência média condicional". Eles podem ou não estar conceitualmente vinculados.

— Elias

@ Xi'an É assim que eu entendo os conceitos: Independência condicional é apenas , mas a independência média condicional é .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias

Onde está o comentário de Xi'an?

— Michael R. Chernick

@MichaelChernick O comentário dele foi o primeiro. Eu acho que ele deve ter excluído. Pelo que me lembro, ele disse que não implica independência condicional, e eu respondi.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias

Respostas:

É falso. Como você observa, se você ler Stock e Watson de perto, eles realmente não endossam a alegação de que o OLS é imparcial para sob independência média condicional. Eles endossam a alegação muito mais fraca de que o OLS é imparcial para se . Eles dizem algo vago sobre os mínimos quadrados não lineares. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Sua equação (4) contém o que você precisa para ver que a afirmação é falsa. Estimar a equação (4) pelo OLS enquanto omitimos a variável leva ao viés das variáveis omitidas. Como você provavelmente se lembra, o termo de viés das variáveis omitidas (quando a variável omitida tem um coeficiente de 1) é controlado pelos coeficientes da seguinte regressão auxiliar: O viés na regressão original para é dessa regressão, e o viés em é . Se estiver correlacionado com , após o controle linear de $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , então será diferente de zero e o coeficiente OLS será enviesado.

α_{1}

$\alpha_1$

Aqui está um exemplo para provar o ponto:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Observando a fórmula para , fica claro que Observando a regressão auxiliar, é claro que (na ausência de uma escolha fortuita de ) não será zero. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Aqui está um exemplo muito simples no Rqual demonstra o ponto:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Observe que a primeira regressão fornece um coeficiente de que é enviesado em 0,63, refletindo o fato de que "possui algum ", como . Observe também que a regressão auxiliar fornece uma estimativa de viés de cerca de 0,63. $x$ $x$ $z^2$ $E(u|z)$

Então, sobre o que Stock e Watson (e seu professor) estão falando? Vamos voltar à sua equação (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

É um fato importante que a variável omitida é apenas uma função de . Parece que se pudéssemos controlar muito bem, isso seria suficiente para eliminar o viés da regressão, mesmo que possa estar correlacionado com . $z$ $z$ $x$ $u$

Suponha que estimamos a equação abaixo usando um método não paramétrico para estimar a função ou usando a forma funcional correta . Se estivéssemos usando a forma funcional correta, a estimaríamos por mínimos quadrados não lineares (explicando o comentário enigmático sobre NLS): Isso nos daria um estimador consistente para porque não há mais um problema de variável omitida. $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

Como alternativa, se tivéssemos dados suficientes, poderíamos ir `` até o fim '' no controle do . Poderíamos examinar um subconjunto dos dados em que e executar a regressão: Isso forneceria estimadores imparciais e consistentes para o exceto por a interceptação, é claro, que seria poluída por . Obviamente, você também pode obter um estimador imparcial consistente (diferente) executando essa regressão apenas nos pontos de dados para os quais . E outro para os pontos em que . Etc. Então você tem um monte de bons estimadores dos quais você pode fazer um ótimo estimador, digamos, calculando a média de todos eles de alguma forma. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

Este último pensamento é a inspiração para a correspondência de estimadores. Como geralmente não temos dados suficientes para literalmente executar a regressão apenas para ou mesmo para pares de pontos onde é idêntico, em vez disso, executamos a regressão para pontos onde é `` próximo o suficiente '' para ser idêntico. $z=1$ $z$ $z$

— Conta
fonte

Você não pode provar este resultado porque não é verdadeiro em sua afirmação geral. Comece com o modelo em sua eq. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

onde o grande parêntese denota o termo de erro real (ainda não há suposições sobre a expectativa condicional). Defina a matriz resíduos ou aniquilador , que é simétrica, idempotente e também temos . $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

Por "resultados de regressão divididos", temos que

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

O primeiro termo à direita já é zero. Considerando o valor esperado e aplicando a propriedade da torre para a expectativa condicional, o terceiro termo também será zero (usando a independência média condicional em sua forma mais fraca). Mas é até onde essa suposição mais fraca nos leva, porque ficaremos com

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

Por imparcialidade , queremos que o lado direito seja zero. Isso será válido se for uma função linear de (como você também encontrou), porque obteremos novamente o zero . Mas, caso contrário, é totalmente arbitrário assumir diretamente que todo o valor esperado é zero. Não precisamos assumir a nortmalidade conjunta, mas temos que assumir a linearidade dessa expectativa condicional (outras distribuições também têm essa propriedade). Portanto, a suposição necessária para a imparcialidade de é $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

e não posso dizer se é realmente "mais fraco" ou não, em comparação com a estrita exogeneidade de todos os regressores (uma vez que a estrogenidade exposta é declarada em termos de independência média para todas as premissas distributivas, enquanto aqui temos que restringir as classes de distribuição que e siga). $U$ $Z$

Não é difícil mostrar que, nessa suposição de linearidade, também será consistente. $\hat \beta_{OLS}$

— Alecos Papadopoulos
fonte

Boa resposta! Eu li isso há muito tempo e pensei em pensar nisso mais tarde. Tenho algumas perguntas: como você pode provar seus resultados de regressão particionada? Eu apreciaria pelo menos uma referência. Além disso, qual é a diferença entre e ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— Elias Elias

@ Monir e apenas um erro de digitação - corrigido. Para obter resultados de regressão particionada (que são muito antigos e padrão), consulte, por exemplo, o livro de Econometria de Greene, no capítulo em que discute o aspecto algébrico da estimativa de mínimos quadrados comuns. Inclui a prova.

Z

$Z$

z

$z$

— Alecos Papadopoulos