Suposições dos mínimos quadrados

Assuma a seguinte relação linear: $Y_i = \beta_0 + \beta_1 X_i + u_i$ , onde $Y_i$ é a variável dependente, $X_i$ uma única variável independente e $u_i$ o termo do erro.

De acordo com Stock & Watson (Introdução à Econometria; Capítulo 4 ), a terceira suposição de mínimos quadrados é que os quartos momentos de $X_i$ e $u_i$ são diferentes de zero e finitos $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$ .

Eu tenho três perguntas:

Não compreendo completamente o papel dessa suposição. O OLS é tendencioso e inconsistente se essa suposição não se mantiver ou precisamos dessa suposição para inferência?
Stock e Watson escrevem "essa suposição limita a probabilidade de desenhar uma observação com valores extremamente grandes de $X_i$ ou $u_i$ ". No entanto, minha intuição é que essa suposição é extrema. Estamos em apuros se tivermos grandes discrepâncias (tais que os quartos momentos sejam grandes), mas se esses valores ainda forem finitos? By the way: Qual é a definição subjacente um outlier?
Podemos reformular isso da seguinte maneira: "A curtose de $X_i$ e $u_i$ é diferente de zero e finita?"

— solteiro
fonte

Infelizmente, não posso escrever uma resposta completa agora, mas para responder à sua pergunta: 1, a consistência do OLS funciona independentemente. 2, não existe uma definição clara de outliers, mas o OLS funciona bem em grandes amostras na presença de outliers. 3, para a minha vida, não consigo pensar em um exemplo em que isso não fosse verdade, mas alguém poderia me provar que estava errado, então não há garantias.

— Repmat 31/10/16

Eu discuto "mas o OLS funciona bem em grandes amostras na presença de discrepantes" ... toma uma discrepância suficientemente grande no espaço x (isto é, uma observação influente) e um único ponto pode forçar o LS a passar por ele; se também for um outlier na direção Y, sua linha continuará nesse ponto, não importa quão extrema seja.

— Glen_b -Reinstala Monica

Outliers são fáceis de definir. São observações inconsistentes com o padrão da maior parte dos dados. Como mostra o exemplo de Glen_b, esse ponto tem influência indevida no ajuste, no limite superior a todas as outras observações no conjunto de dados, levando a estimativas altamente tendenciosas.

— user603

@ user603 Claro ... e daí? Ainda não encontrei um programa / script que detecte automaticamente valores discrepantes e faça isso de maneira clara, pois todos concordamos que é o caminho certo ... então, enquanto eu concordar com seus sentimentos, ele não ajuda OP

— Repmat

@ Repmat: por favor, leia novamente a pergunta do OP. Meu comentário responde diretamente a uma das frases que são pontuadas por um ponto de interrogação.

— user603

Respostas:

Você não precisa de suposições nos 4º momentos para consistência do estimador OLS, mas precisa de suposições em momentos mais altos de e para normalidade assintótica e para estimar consistentemente qual é a matriz de covariância assintótica. $x$ $\epsilon$

Em certo sentido, porém, esse é um ponto matemático, técnico, e não prático. Para que o OLS funcione bem em amostras finitas, em algum sentido, é necessário mais do que as suposições mínimas necessárias para obter consistência ou normalidade assintótica como . $n \rightarrow \infty$

Condições suficientes para consistência:

Se você tiver a equação de regressão:

y_{i} = x_{i}^{'} β + ϵ_{i}

$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$

O estimador OLS pode ser escrito como: $\hat{\mathbf{b}}$

\hat{b} = β + {(\frac{X^{'} X}{n})}^{- 1} (\frac{X^{'} ϵ}{n})

$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$

Por questões de consistência , você precisa aplicar a Lei dos Grandes Números de Kolmogorov ou, no caso de séries temporais com dependência serial, algo como o Teorema Ergódico de Karlin e Taylor para que:

\frac{1}{n} X^{'} X \overset{p}{\to} E [x_{i} x_{i}^{'}] \frac{1}{n} X^{'} ϵ \overset{p}{\to} E [x_{i}^{'} ϵ_{i}]

$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$

Outras premissas necessárias são:

$\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ tem classificação completa e, portanto, a matriz é invertível.
Os regressores são predeterminados ou estritamente exógenos, de modo que . $\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Então e você recebe $\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$ $\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Se você deseja que o teorema do limite central se aplique , precisará de suposições em momentos superiores, por exemplo, onde . O teorema do limite central é o que fornece a normalidade assintótica de e permite que você fale sobre erros padrão. Para que o segundo momento exista, você precisa do quarto momento de e para existir. Você quer argumentar que em que $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $\mathbf{g_i} = \mathbf{x}_i \epsilon_i$ $\hat{\mathbf{b}}$ $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $x$ $\epsilon$ $\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$ $\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Para que isso funcione, precisa ser finito. $\Sigma$

Uma boa discussão (que motivou este post) é apresentada na Econometria de Hayashi . (Veja também a p. 149 para o quarto momento e estimando a matriz de covariância.)

Discussão:

Esses requisitos no quarto momento provavelmente são um ponto técnico e não prático. Você provavelmente não encontrará distribuições patológicas onde isso é um problema nos dados do dia a dia? É mais comum ou outras suposições do OLS darem errado.

Uma pergunta diferente, sem dúvida respondida em outro lugar no Stackexchange, é o tamanho de uma amostra que você precisa para amostras finitas para se aproximar dos resultados assintóticos. Há um certo sentido em que discrepâncias fantásticas levam a uma convergência lenta. Por exemplo, tente estimar a média de uma distribuição lognormal com uma variação muito alta. A média da amostra é um estimador consistente e imparcial da média da população, mas nesse caso log-normal com excesso excessivo de curtose, etc.

Finito x infinito é uma distinção extremamente importante em matemática. Esse não é o problema que você encontra nas estatísticas diárias. Problemas práticos são mais na categoria pequena vs. grande. A variação, curtose, etc ... é pequena o suficiente para que eu possa obter estimativas razoáveis, considerando o tamanho da minha amostra?

Exemplo patológico em que o estimador OLS é consistente, mas não assintoticamente normal

Considerar:

y_{i} = b x_{i} + ϵ_{i}

$y_i = b x_i + \epsilon_i$ Onde mas é extraído de uma distribuição t com 2 graus de liberdade, portanto . A estimativa de OLS converge em probabilidade para mas a distribuição de amostra para a estimativa de OLS normalmente não é distribuída. Abaixo está a distribuição empírica para base em 10000 simulações de uma regressão com 10000 observações.

x_{i} \sim N (0, 1)

$x_i \sim \mathcal{N}(0,1)$

ϵ_{i}

$\epsilon_i$

V a r (ϵ_{i}) = \infty

$\mathrm{Var}(\epsilon_i) = \infty$

b

$b$

\hat{b}

$\hat{b}$

\hat{b}

$\hat{b}$

QQPlot para estimador (não converge na distribuição para normal)

A distribuição de não é normal, as caudas são muito pesadas. Mas se você aumentar os graus de liberdade para 3, para que exista o segundo momento de , o limite central se aplicará e você obterá: $\hat{b}$ $\epsilon_i$

Código para gerá-lo:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

— Matthew Gunn
fonte

Boa resposta. Mas o seguinte realmente depende do contexto: você não encontrará distribuições patológicas com os 4º momentos inexistentes nos dados do dia a dia. Os dados financeiros (log-retornos sobre ativos financeiros) geralmente são tão pesados quanto não ter um quarto momento finito. Portanto, a preocupação com o quarto momento é muito real lá. (Você provavelmente poderia adicionar isso como um contra-exemplo entre parênteses à sua afirmação.) Além disso, uma pergunta: no seu exemplo, por que produz normalidade assintótica apesar de não ter um quarto momento finito?

t (3)

$t(3)$

— Richard Hardy

@RichardHardy Você deseja onde . Você precisa que o quarto momento exista, e é basicamente um segundo momento em quando não está correlacionado com .

\sqrt{n} (\frac{1}{n} \sum_{i} x_{i} ϵ_{i}) \overset{d}{\to} N (0, Σ)

$\sqrt{n}\left( \frac{1}{n} \sum_i \mathbf{x}_i \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( \mathbf{0}, \Sigma \right)$

Σ = E [x_{i} x_{i}^{'} ϵ_{i}^{2}]

$\Sigma = \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2]$

Σ

$\Sigma$

Σ

$\Sigma$

ϵ_{i}

$\epsilon_i$

ϵ_{i}^{2}

$\epsilon_i^2$

x_{i} x_{i}^{'}

$\mathbf{x}_i\mathbf{x}_i'$

— Matthew Gunn

Essa é uma suposição suficiente, mas não mínima [1]. O OLS não é tendencioso nessas condições, é apenas inconsistente. As propriedades assintóticas do OLS quebram quando pode ter uma influência extremamente grande e / ou se você pode obter resíduos extremamente grandes. Você pode não ter encontrado uma apresentação formal do teorema do limite central de Lindeberg Feller, mas é isso que eles estão abordando aqui com as condições do quarto momento, e a condição de Lindeberg nos diz basicamente a mesma coisa: nenhum ponto de influência excessivo, nenhuma alavancagem alta demais pontos [2] $X$
Esses fundamentos teóricos da estatística causam muita confusão quando resumidos em aplicações práticas. Não há definição de um outlier, é um conceito intuitivo. Para entendê-lo, a observação teria que ser um alto ponto de alavancagem ou alto ponto de influência, por exemplo, aquele para o qual o diagnóstico de exclusão (DF beta) é muito grande ou para o qual a distância de Mahalanobis nos preditores é grande (em estatísticas univariadas isso é apenas uma pontuação Z). Mas voltemos às questões práticas: se eu fizer uma pesquisa aleatória com as pessoas e sua renda familiar, e de 100 pessoas, 1 das pessoas que eu amostrar for milionária, meu melhor palpite é que os milionários são representativos de 1% da população . Em uma palestra bioestatística, esses princípios são discutidos e enfatizados que qualquer ferramenta de diagnóstico é essencialmente exploratória [3].não "a análise que exclui o outlier é a que eu acredito", é "remover um ponto mudou completamente minha análise".
A curtose é uma quantidade escalada que depende do segundo momento de uma distribuição, mas a suposição de variação finita e diferente de zero para esses valores é tácita, pois é impossível que essa propriedade se mantenha no quarto momento, mas não no segundo. Então, basicamente sim, mas no geral eu nunca inspecionei nem a curtose nem o quarto momento. Não acho que sejam uma medida prática ou intuitiva. Atualmente, quando um histograma ou gráfico de dispersão é produzido pelo estalar dos dedos, cabe a nós usar estatísticas qualitativas de diagnóstico gráfico, inspecionando esses gráficos.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html

— AdamO
fonte

Como já foi apontado anteriormente, a intuição de alguém em relação aos valores discrepantes desmorona quando há mais de um deles. Eles não necessariamente se destacam em um gráfico beta do DF ou têm grandes escores z porque essas estatísticas podem ser influenciadas por discrepantes. Como discutimos anteriormente, os valores discrepantes , se deixados desmarcados, produzirão coeficientes tendenciosos, a menos que você os remova ou use uma técnica de estimativa robusta para eles.

— user603

Penso que, de maneira mais geral, ao expressar opiniões, suas respostas ganhariam ao incluir indicadores na literatura relevante, para que o OP saiba qual dessas opiniões é amplamente aceita.

— user603

@ user603 Para o seu primeiro comentário, não apontei o DFbetas (ou qualquer ferramenta de diagnóstico) como um método exclusivo para identificar discrepantes, mas certamente útil. Ao executar outliers de inferência semi-paramétrica (modelo médio correto) NÃO influencia os modelos LS, você pode produzir uma referência ou até mesmo um exemplo em qualquer caso que não seja o LS não paramétrico? Seu segundo comentário é bom, e eu levarei os próximos momentos para fornecer citações.

— AdamO 1/11/16

Sua declaração "OLS não é tendenciosa nessas condições, é apenas inconsistente" não está correta. Os momentos mais altos são necessários para a normalidade assintótica. Eles não são necessários para obter consistência nas amostras do IID, onde a Lei de Grandes Números de Kolmogorov se aplica.

— Matthew Gunn