Por que os métodos de regressão Mínimos Quadrados e Máxima Verossimilhança não são equivalentes quando os erros não são normalmente distribuídos?

O título diz tudo. Entendo que os mínimos quadrados e a máxima verossimilhança fornecerão o mesmo resultado para os coeficientes de regressão se os erros do modelo forem normalmente distribuídos. Mas, o que acontece se os erros não forem normalmente distribuídos? Por que os dois métodos não são mais equivalentes?

Resposta curta

A densidade de probabilidade de uma Gaussiana multivariada distribuído variável $x=(x_1, x_2,...,x_n)$ , com média $\mu=(\mu_1,\mu_2,...,\mu_n)$ está relacionado com o quadrado de a distância euclidiana entre a média e a variável ( $\vert \mu-x \vert_2^2$ ), ou seja, a soma dos quadrados.

---

Resposta longa

Se você multiplicar várias distribuições gaussianas para seus $n$ erros, em que assume desvios iguais, obtém uma soma dos quadrados.

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

ou na forma logarítmica conveniente:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Portanto, otimizar o $\mu$ para minimizar a soma dos quadrados é igual a maximizar a probabilidade (log) (isto é, o produto de múltiplas distribuições gaussianas ou a distribuição gaussiana multivariada).

É esse quadrado aninhado da diferença $(\mu-x)$ dentro da estrutura exponencial, $exp\left[ (x_i-\mu)^2 \right]$ , que outras distribuições não possuem.

---

Compare, por exemplo, com o caso das distribuições de Poisson

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

que tem um máximo quando o seguinte é minimizado:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

que é um animal diferente.

---

Além disso (história)

O histórico da distribuição normal (ignorando o deMoivre chegar a essa distribuição como uma aproximação para a distribuição binomial) é na verdade a descoberta da distribuição que faz o MLE corresponder ao método dos mínimos quadrados (em vez de o método dos mínimos quadrados ser um método que pode expressar o MLE da distribuição normal, primeiro veio o método dos mínimos quadrados, depois veio a distribuição gaussiana)

$e^{-x^2}$

Da tradução de Charles Henry Davis (Teoria do movimento dos corpos celestes movendo-se sobre o sol em seções cônicas. Uma tradução do "Theoria motus" de Gauss, com um apêndice) ...

Gauss define:

$\Delta$$\Delta$$\psi \Delta$

^{(Itálico feito por mim)}

E continua ( na seção 177 pp. 258 ):

$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Escrito por StackExchangeStrike

Porque o MLE é derivado da suposição de resíduos normalmente distribuídos.

Observe que

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

$\beta$

De onde vem o conceito de probabilidade e probabilidade, assumimos

$$y=X\beta + \epsilon$$

$y$$\epsilon$

Os mínimos quadrados e o ajuste máximo de probabilidade (gaussiano) são sempre equivalentes. Ou seja, eles são minimizados pelo mesmo conjunto de coeficientes.

Alterar a suposição sobre os erros altera sua função de probabilidade (maximizar a probabilidade de um modelo é equivalente a maximizar a probabilidade do termo de erro) e, portanto, a função não será mais minimizada pelo mesmo conjunto de coeficientes.

Portanto, na prática, os dois são os mesmos, mas, em teoria, quando você maximiza uma probabilidade diferente, obtém uma resposta diferente da dos mínimos quadrados

Um exemplo concreto: suponha que tomemos uma função de erro simples p (1) = .9, p (-9) = .10. Se tomarmos dois pontos, o LS apenas passará a linha através deles. ML, por outro lado, assumirá que ambos os pontos são uma unidade muito alta e, portanto, seguirá a linha através dos pontos deslocados para baixo na unidade.