Usando MLE vs. OLS

Quando é preferível usar a estimativa de máxima verossimilhança em vez dos mínimos quadrados comuns? Quais são os pontos fortes e as limitações de cada um? Estou tentando reunir conhecimentos práticos sobre onde usar cada um em situações comuns.

regression maximum-likelihood least-squares

— user38133
fonte

Conforme explicado aqui , o OLS é apenas uma instância específica do MLE. Aqui está uma questão intimamente relacionada, com uma derivação do OLS em termos de MLE.

A distribuição condicional corresponde ao seu modelo de ruído (para OLS: Gaussian e a mesma distribuição para todas as entradas). Existem outras opções (o t-Student pode lidar com discrepantes ou permitir que a distribuição de ruído dependa da entrada )

— jpmuc
fonte

(-1) Não é verdade que o aluno

t

$t$ pode ser de confiança para lidar com os discrepantes . Veja o exemplo aqui ou o capítulo 2 deste livro para mais explicações.

— user603

O OLS é um método de aproximação / estimativa que minimiza a distância, enquanto o ML é um método de maximização de "probabilidade". O OLS não precisa de suposições estocásticas para fornecer sua solução de minimização de distância, enquanto o ML começa assumindo uma função conjunta de densidade / massa de probabilidade. O fato de que, em algumas circunstâncias, os dois fornecem a mesma solução, de maneira alguma torna um um exemplo particular do outro.

— Alecos Papadopoulos