Pressupostos para derivar o estimador OLS

Alguém pode explicar brevemente para mim, por que cada uma das seis suposições é necessária para calcular o estimador de OLS? Descobri apenas sobre multicolinearidade - que, se existir, não podemos inverter a matriz (X'X) e, por sua vez, estimar o estimador geral. E os outros (por exemplo, linearidade, zero de erros médios etc.)?

least-squares assumptions

— Ieva
fonte

Relacionado: O que é uma lista completa das suposições usuais para regressão linear?

— gung - Restabelece Monica

Você está procurando uma explicação conceitual ou precisa de uma demonstração matemática?

— gung - Restabelece Monica

Mínimos quadrados comuns é um procedimento numérico, você não precisa de muita suposição para calculá- lo (além da invertibilidade). Os pressupostos são necessários para justificar a inferência baseada nele, ver a minha resposta ontem: stats.stackexchange.com/questions/148803/...

— b Kjetil Halvorsen

Exatamente a quais "seis suposições" você se refere? Você menciona apenas três.

— whuber

Refiro-me a 1) linearidade 2) ausência de multicolinearidade 3) erros médios nulos 4) erros esféricos (homoscedasticidade e não autocorrelação) 5) regressores não estocásticos e 6) distribuição normal. Então, como entendi pela resposta abaixo, apenas os três primeiros são necessários para derivar o estimador e outros são necessários apenas para garantir que o estimador seja AZUL?

— Ieva

Respostas:

Você sempre pode calcular o estimador OLS, além do caso em que possui multicolinearidade perfeita. Nesse caso, você tem uma dependência multilinear perfeita em sua matriz X. Conseqüentemente, a suposição de classificação completa não é cumprida e você não pode calcular o estimador OLS, devido a problemas de invertibilidade.

Tecnicamente, você não precisa das outras suposições do OLS para calcular o estimador do OLS. No entanto, de acordo com o teorema de Gauss-Markov, você precisa cumprir a suposição OLS (suposições clrm) para que seu estimador seja AZUL.

Você pode encontrar uma extensa discussão sobre o teorema de Gauss-Markov e sua derivação matemática aqui:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Além disso, se você estiver procurando uma visão geral da suposição de OLS, ou seja, quantas existem, o que elas exigem e o que acontece se você violar a única suposição de OLS, pode encontrar uma discussão elaborada aqui:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Espero que ajude, felicidades!

— Simon Degonda
fonte

O seguinte é baseado em seções transversais simples, para séries temporais e painéis é um pouco diferente.

Na população e, portanto, na amostra, o modelo pode ser escrito como: Essa é a suposição de linearidade, que às vezes é mal compreendida. O modelo deve ser linear nos parâmetros - a saber, a. Você é livre para fazer o que quiser com osi. Logs, quadrados etc. Se esse não for o caso, o OLS não pode ser estimado pelo modelo - você precisa de algum outro estimador não linear. $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
Uma amostra aleatória (para seções transversais) Isso é necessário para inferência e propriedades da amostra. É um tanto irrelevante para a mecânica pura do OLS.
Sem colinearidade perfeita Isso significa que não pode haver relação perfeita entre . Essa é a suposição que garante que não é singular, de modo que existe. $x_i$ $(X’X)$ $(X’X)^{-1}$
Média condicional zero: . Isso significa que você especificou corretamente o modelo de forma que: não haja variáveis omitidas e a forma funcional estimada esteja correta em relação ao modelo de população (desconhecido). Essa é sempre a suposição problemática do OLS, já que não há como saber se ele é realmente válido ou não. $E(u|X) = 0$
A variação do termo erros é constante, condicionada à toda : Novamente, isto não significa nada para a mecânica da OLS, mas garantir que os habituais erros padrão são válidos. $X_i$ $\Var(u|X)=\sigma^2$
Normalidade; o termo de erros u é independente do e segue . Novamente, isso é irrelevante para a mecânica do OLS, mas garante que a distribuição amostral do seja normal, . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Agora, para as implicações.

Sob 1 - 6 (as premissas clássicas do modelo linear), o OLS é AZUL (melhor estimador imparcial linear), melhor no sentido de menor variância. Também é eficiente entre todos os estimadores lineares, bem como todos os estimadores que usam alguma função do x. Mais importante, de 1 a 6, o OLS também é o estimador imparcial de variância mínima. Isso significa que entre todos os estimadores imparciais (e não apenas o linear), o OLS tem a menor variação. OLS também é consistente.
Sob 1 - 5 (as suposições de Gauss-Markov), o OLS é AZUL e eficiente (como descrito acima).
Sob 1 - 4, o OLS é imparcial e consistente.

Na verdade, o OLS também é consistente, sob uma suposição mais fraca do que saber: e . A diferença das suposições 4 é que, sob essa suposição, você não precisa definir perfeitamente a relação funcional. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Repmat
fonte

Eu acho que você pinta uma imagem muito escura sobre a condição média zero. Se houvesse um viés, minimizar a soma dos desvios ao quadrado não seria a coisa mais apropriada a fazer, mas por outro lado, você pode capturar o viés mudando a equação de regressão (absorvendo o viés em

) e, em seguida, você não tem média 0. Em outras palavras, 4 é tanto impossível verificar e fácil de ignorar.

β_{0}

$\beta_0$

— precisa saber é o seguinte

Sinto muito, mas não concordo. Ou talvez eu apenas esteja entendendo mal você? Você poderia eloborar ou dar uma referência.

— Repmat

Não estou falando sobre estimativa intencionalmente distorcida (como regressão de cume), na qual acredito que o OP não estava interessado. Estou falando de um modelo da forma

em que --- por algum motivo estranho --- o residual

tem significativo

. Nesse caso, é fácil fazer uma transformação formal em

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, onde a média de

é zero.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— User3697176

@ user3697176 O que você escreve não está correto. Acabei de publicar uma resposta para explicar o porquê.

— Alecos Papadopoulos

Se a suposição 1 não for atendida, ainda não podemos usar o OLS para estimar a covariância da população (mesmo sabendo que não há relação linear)?

— máximo

Um comentário em outra pergunta levantou dúvidas sobre a importância da condição , argumentando que ela pode ser corrigida pela inclusão de um termo constante na especificação de regressão e, portanto, "ela pode ser facilmente ignorada". $E(\mathbf u \mid \mathbf X) =0$

Isto não é verdade. A inclusão de um termo constante na regressão absorverá a média condicional possivelmente diferente de zero do erro, se assumirmos que essa média condicional já é uma constante e não uma função dos regressores . Esta é a suposição crucial que deve ser feita independentemente de incluirmos um termo constante ou não:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Se este detém, em seguida, a média diferente de zero se torna um incômodo que pode simplesmente resolver através da inclusão de um termo constante.

Mas se isso não for válido (ou seja, se a média condicional não for uma constante zero ou não nula ), a inclusão do termo constante não resolverá o problema: o que "absorverá" nesse caso é uma magnitude isso depende da amostra específica e das realizações dos regressores. Na realidade, o coeficiente desconhecido associado à série de unidades não é realmente uma constante, mas variável, dependendo dos regressores através da média condicional não constante do termo de erro.

O que isso implica? Para simplificar, assumir o caso mais simples, em que ( indexa as observações) mas que . Ou seja, que o termo de erro é de média-independente das variáveis explicativas, exceto de seus queridos contemporâneas (em nós não incluem uma série de ones). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Suponha que especificamos a regressão com a inclusão de um termo constante (um regressor de uma série de um).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

e notação de compactação

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

onde , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

Então o estimador OLS será

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

Para imparcialidade , precisamos de . Mas $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

que não pode ser zero para todos os , pois examinamos o caso em que não é uma função constante. então $i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

Se , então mesmo que incluem um termo constante na regressão, os OLS estimador não vai ser imparcial , significando também que o resultado de Gauss-Markov em eficiência é perdido $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ .

Além disso, o termo de erro tem uma média diferente para cada , e também uma variação diferente (ou seja, é condicionalmente heterocedástico). Portanto, sua distribuição condicional nos regressores difere entre as observações . $\mathbf ε$ $i$ $i$

Mas isso significa que, mesmo que o termo de erro é assumida normal, então a distribuição do erro de amostragem será normal, mas não mormal de média zero, e com viés desconhecido. E a variação será diferente. então $u_i$ $\hat {\mathbf γ} - \mathbf γ$

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

Em outras palavras, as propriedades "amostra finita" desapareceram.

Ficamos apenas com a opção de recorrer a inferência assintoticamente válida , para a qual teremos que fazer suposições adicionais.

Em termos simples, a estrita exogeneidade não pode ser "facilmente ignorada" .

— Alecos Papadopoulos
fonte

Não tenho muita certeza de entender isso. Não presumir que a média não seja uma função dos regressores equivalente a assumir homoscedasticidade?

— Batman

@Batman A que parte do meu post você está se referindo?

— Alecos Papadopoulos

Quando você diz "A inclusão de um termo constante na regressão absorverá a média condicional possivelmente diferente de zero do termo de erro se assumirmos que essa média condicional já é uma constante e não uma função dos regressores. Essa é a suposição crucial isso deve ser feito independentemente de incluirmos um termo constante ou não ". Não está assumindo que a média condicional não é uma função dos regressores exatamente o que estamos assumindo quando assumimos a homoscedasticidade?

— Batman

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$

— Alecos Papadopoulos