Regressão linear: alguma distribuição não normal que dê identidade ao OLS e MLE?

13

Esta questão é inspirada na longa discussão nos comentários aqui: Como a regressão linear usa a distribuição normal?

No modelo de regressão linear usual, por simplicidade, aqui escrito com apenas um preditor:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ onde são constantes conhecidas e são termos de erro independentes com média zero. Se, além disso, assumirmos distribuições normais para os erros, os estimadores usuais de mínimos quadrados e os estimadores de probabilidade máxima de serão idênticos.

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

Portanto, minha pergunta fácil: existe alguma outra distribuição para os termos de erro, de modo que a mle seja idêntica ao estimador ordinário de mínimos quadrados? A implicação é fácil de mostrar, a outra não.

— kjetil b halvorsen
fonte

1

(+1) Teria de ser uma distribuição centrada em torno de zero e, ao que parece, ajudaria se fosse simétrica. Alguns candidatos que vêm à mente, como a distribuição t- ou Laplace, não parecem fazer o truque, pois o MLE é, mesmo no constante caso único, não disponível de forma fechada ou fornecida pela mediana, respectivamente.

— Christoph Hanck

ver também stats.stackexchange.com/questions/99014/... , parece que há somente tanto para encontrar

— Christoph Hanck

Tenho certeza que a resposta é não. No entanto, pode ser difícil escrever uma prova rigorosa.

— Gordon Smyth

11

Na estimativa da máxima verossimilhança, calculamos

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

a última relação levando em consideração a estrutura de linearidade da equação de regressão.

Em comparação, o estimador OLS satisfaz

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Para obter expressões algébricas idênticas para os coeficientes de declive, precisamos ter uma densidade para o termo de erro tal que

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Estas são equações diferenciais da forma que têm soluções $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Qualquer função que possua esse kernel e se integre à unidade em um domínio apropriado fará com que o MLE e o OLS dos coeficientes de inclinação sejam idênticos. Ou seja, estamos procurando

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

$g$

Certamente. Mas mais uma coisa que devemos considerar é o seguinte: se alguém usar o sinal de mais no expoente e um suporte simétrico em torno de zero, por exemplo, obterá uma densidade que tenha um mínimo exclusivo no meio e dois máximos locais em os limites do apoio.

— Alecos Papadopoulos
fonte

Ótima resposta (+1), mas se alguém usa um sinal de mais na função, é mesmo uma densidade? Parece então que a função possui uma infinita integral e, portanto, não pode ser normalizada para uma função de densidade. Se for esse o caso, ficamos apenas com a distribuição normal.

— Reintegrar Monica

1

(a, b)

$(a,b)$

Isso é verdade - eu estava assumindo isso.

— Reintegrar Monica

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

$\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— Xi'an
fonte

1

Isso não parece correto para mim. Se você usar uma distribuição esférica simétrica diferente, isso não levaria à minimização de uma função diferente da norma que a do quadrado (portanto, não sendo a estimativa dos mínimos quadrados)?

— Reintegrar Monica

1

Eu não sabia sobre essa pergunta até @ Xi'an apenas atualizar com uma resposta. Existe uma solução mais genérica. As distribuições exponenciais da família com alguns parâmetros fixaram o rendimento para as divergências de Bregman. Para essas distribuições, a média é o minimizador. O minimizador de OLS também é a média. Portanto, para todas essas distribuições, elas devem coincidir quando o funcional linear estiver vinculado ao parâmetro da média.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
fonte