O OLS é assintoticamente eficiente sob heterocedasticidade

Eu sei que o OLS é imparcial, mas não eficiente sob heterocedasticidade em um cenário de regressão linear.

Na Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

O estimador MMSE é assintoticamente imparcial e converge na distribuição para a distribuição normal: , onde I (x) é a informação de Fisher de x. Assim, o estimador MMSE é assintoticamente eficiente. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE é reivindicado ser assintoticamente eficiente. Estou um pouco confuso agora.

Isso significa que o OLS não é eficiente em amostras finitas, mas é eficiente assintoticamente sob heterocedasticidade?

Crítica das respostas atuais: Até o momento, as respostas propostas não tratam da distribuição limitadora.

desde já, obrigado

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
fonte

Esse é um artigo bastante longo da Wikipedia. Como, além disso, eles estão sujeitos a alterações, você se importaria de citar a passagem que causa confusão?

— hejseb

As informações de Fisher são derivadas da função de probabilidade. Portanto, implica implicitamente que a probabilidade foi especificada corretamente. ou seja, a declaração a que você se refere assume que, se houver heterocedasticidade, a regressão foi ponderada de forma que a heterocedasticidade foi especificada corretamente. Consulte en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . Na prática, muitas vezes não sabemos a forma da heterocedasticidade; portanto, às vezes aceitamos a ineficiência em vez de ter a chance de influenciar a regressão ao não especificar os esquemas de ponderação.

— Zachary Blumenfeld

@ZacharyBlumenfeld Não havia nenhuma suposição sobre a distribuição de x no artigo. Como terminamos com as informações de Fisher?

— Cagdas Ozgenc # 1/15

Veja en.wikipedia.org/wiki/Fisher_information O artigo implica uma distribuição em e quando toma expectativas na seção definição. Observe que a homoscedasticidade nunca foi assumida lá. No contexto da OLS, homoscedacticity assumido , a matriz identidade. A heteroscedacticidade permite , qualquer Positivo diagonal semi-definido. Usando resultaria em uma informação diferente Fisher do que seria usando .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

onde posso ver uma prova desse fato de que "o MMSE converge em distribuição para a distribuição normal?"

— Hajir

Respostas:

O artigo nunca assumiu homoskadasticidade na definição. Para colocá-lo no contexto do artigo, a homoskedasticidade estaria dizendo Onde a matriz de identidade e é um número positivo escalar. A heteroscadasticidade permite

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Qualquer diaganol positivo definitivo. O artigo define a matriz de covariância da maneira mais geral possível, como o segundo momento centralizado de alguma distribuição multivariável implícita. devemos conhecer a distribuição multivariada de para obter uma estimativa assintoticamente eficiente e consistente de . Isso virá de uma função de probabilidade (que é um componente obrigatório do posterior). Por exemplo, suponha (isto é, . Então a função de probabilidade implícita é Onde é o pdf normal multivariado. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

A matriz de informações de Fisher pode ser escrita como veja en.wikipedia.org/wiki/Fisher_information para mais informações. É daqui que podemos derivar O exemplo acima está usando uma função de perda quadrática, mas não assumindo homoscedasticidade.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

No contexto do OLS, onde regredimos em , assumimos A probabilidade implícita é Que pode ser convenientemente reescrito como o pdf normal univariado. A informação do pescador é então $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Se a homocedasticidade não for atendida, as informações de Fisher, conforme declaradas, são especificadas em falta (mas a função de expectativa condicional ainda está correta), portanto as estimativas de serão consistentes, mas ineficientes. Poderíamos reescrever a probabilidade de explicar a heteroskacticity e a regressão é eficiente, ou seja, podemos escrever Isso é equivalente a certas formas de Mínimos Quadrados Generalizados , como mínimos quadrados ponderados. No entanto, essa vontade $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ alterar a matriz de informações de Fisher. Na prática, muitas vezes não sabemos a forma da heterocedasticidade, portanto, às vezes, preferimos aceitar a ineficiência em vez de influenciar a regressão ao acaso por falta de especificação dos esquemas de ponderação. Nesses casos, a covariância assintótica de não é conforme especificado acima.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumenfeld
fonte

Obrigado por todo o tempo que você passou. No entanto, acho que a entrada no wiki é uma porcaria total. O MMSE não fornecerá eficiência e em nenhum lugar é especificado que as amostras sejam pesadas adequadamente. Além disso, mesmo se assumirmos que as amostras são ponderadas, ele ainda não é um estimador eficiente, a menos que a distribuição seja gaussiana, que também não é especificada.

— Cagdas Ozgenc 01/04

@CagdasOzgenc Eu discordo respeitosamente. O artigo é redigido de uma maneira bayesiana geral, que pode incluir regressão, mas também muitos outros modelos (parece ser voltado mais para o filtro de Kalman). A probabilidade é o estimador mais eficiente quando é conhecido; essa é uma propriedade básica da probabilidade. O que você diz se aplica estritamente a um subconjunto de modelos de regressão (embora entre os modelos mais amplamente aplicados) em que a normalidade é assumida ao derivar condições de primeira ordem.

— Zachary Blumenfeld

Você mesmo disse. Infelizmente, o artigo não trata do estimador de probabilidade. É o Estimador Mínimo do Quadrado Médio, que é eficiente quando determinadas condições são satisfeitas.

— Cagdas Ozgenc # 1/15

Tudo bem, eu concordo em discordar :) Talvez haja um conflito com a definição de MMSE entre como ele é usado na regressão mais frequente e como é aplicado aqui em um cenário mais bayesiano. Talvez eles devessem inventar um novo nome para ele. No entanto, as probabilidades (ou talvez outras estimativas não paramétricas) estão implícitas quando se assume expectativas independentes sobre cada resíduo quadrado. especialmente em um cenário bayesiano (caso contrário, como estimaríamos isso?). Após pesquisar no Google, encontrei muitos resultados semelhantes aos da Wikipedia. De qualquer forma, concordo que a terminologia está sendo abusada.

— Zachary Blumenfeld

Não, o OLS não é eficiente sob heterocedasticidade. A eficiência de um estimador é obtida se o estimador tiver a menor variação entre outros estimadores possíveis. Declarações sobre eficiência no OLS são feitas independentemente da distribuição limitadora de um estimador.

— cara aleatório
fonte