O que é o Método dos Momentos e como ele é diferente do MLE?

13

Em geral, parece que o método dos momentos está apenas correspondendo à média da amostra observada ou à variação dos momentos teóricos para obter estimativas dos parâmetros. Geralmente é o mesmo que o MLE para famílias exponenciais, pelo que entendi.

No entanto, é difícil encontrar uma definição clara do método dos momentos e uma discussão clara sobre por que o MLE parece ser geralmente favorecido, mesmo que seja mais difícil encontrar o modo da função de probabilidade.

Esta pergunta O MLE é mais eficiente que o método Moment? Donald Rubin (em Harvard) disse que todo mundo sabe desde os anos 40 que o MLE vence o MoM, mas eu estaria interessado em conhecer a história ou o motivo disso.

maximum-likelihood method-of-moments

— frelk
fonte

2

Aqui está uma apresentação discutindo os prós e contras do MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Jon Jon

Várias respostas no local, discutindo o método dos momentos, podem ser relevantes para ajudar você a entender.

— Glen_b -Reinstala Monica

Veja também stats.stackexchange.com/a/129188/28746

— Alecos Papadopoulos

11

@ Jon: Link morto.

— Ben - Restabelece Monica

7

No MoM, o estimador é escolhido para que alguma função tenha expectativa condicional igual a zero. Por exemplo, . Freqüentemente, a expectativa depende de . Normalmente, isso é convertido em um problema de minimizar uma forma quadrática nessas expectativas com uma matriz de peso. $E[g(y,x,\theta)] = 0$ $x$

No MLE, o estimador maximiza a função de probabilidade de log.

Em ampla generalização, o MLE faz suposições mais rígidas (a densidade total) e, portanto, é tipicamente menos robusto, mas mais eficiente se as suposições forem atendidas (atinge o limite inferior de Kramer Rao na variação assintótica).

Em alguns casos, os dois coincidem, sendo o OLS um exemplo notável em que a solução analítica é idêntica e, portanto, o estimador se comporta da mesma maneira.

Em certo sentido, você pode pensar em um MLE (em quase todos os casos) como um estimador de MoM porque o estimador define o valor esperado do gradiente da função de probabilidade de log igual a zero. Nesse sentido, há casos em que a densidade está incorreta, mas o MLE ainda é consistente porque as condições de primeira ordem ainda são satisfeitas. Então MLE é referido como "quase-ML".

— Superpronker
fonte

4

Geralmente, no MoM, os referem-se ao caso em que a função g tem alguma potência, portanto a expectativa é um momento. Parece mais um "método generalizado de momentos".

— Kjetil b halvorsen

3

O OLS é um método de estimativa de momentos (MoME). É também um estimador de probabilidade máxima (MLE), mas apenas para um caso especial de probabilidade - o normal. Para outra distribuição, o OLS não será um MLE, enquanto ainda é um MoME.

— Richard Hardy

2

Qual é o método dos momentos?

Há um bom artigo sobre isso na Wikipedia.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Isso significa que você está estimando os parâmetros populacionais selecionando os parâmetros para que a distribuição populacional tenha momentos equivalentes aos momentos observados na amostra.

Qual é a diferença do MLE

A estimativa de probabilidade máxima minimiza a função de probabilidade. Em alguns casos, esse mínimo pode às vezes ser expresso em termos de definir os parâmetros da população iguais aos parâmetros da amostra.

Por exemplo, ao estimar o parâmetro médio de uma distribuição e empregar o MLE, muitas vezes acabamos usando . No entanto, isso nem sempre precisa ser o caso (relacionado: https://stats.stackexchange.com/a/317631/164061, embora, no caso do exemplo, a distribuição de Poisson, a estimativa do MLE e do MoM coincidam e a o mesmo vale para muitos outros). Por exemplo, a solução MLE para a estimativa de em uma distribuição normal de log é: $\mu = \bar{x}$ $\mu$

μ = 1 1 / n \sum eu n (x_{Eu}) = \bar{eu n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Enquanto a solução MoM está resolvendo

e x p (μ + \frac{1 1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$ levando a

μ = eu n (\bar{x}) - \frac{1 1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Portanto, o MoM é uma maneira prática de estimar os parâmetros, levando muitas vezes ao mesmo resultado exato do MLE (uma vez que os momentos da amostra geralmente coincidem com os momentos da população, por exemplo, uma média da amostra é distribuída pela média da população, e até algum fator / viés, funciona muito bem). O MLE tem uma base teórica mais forte e, por exemplo, permite estimar erros usando a matriz Fisher (ou estimativas dela), e é uma abordagem muito mais natural no caso de problemas de regressão (eu não tentei, mas acho que um MoM para resolver parâmetros em uma regressão linear simplesnão está funcionando facilmente e pode dar maus resultados. Na resposta do superpronker, parece que isso é feito por alguma minimização de uma função. Para o MLE, essa minimização expressa uma probabilidade mais alta, mas eu me pergunto se isso representa algo semelhante para o MoM).

— Sextus Empiricus
fonte

1

Desculpe, não posso comentários passados ..

O MLE faz suposições mais rigorosas (a densidade total) e, portanto, é tipicamente menos robusto, mas mais eficiente se as suposições forem atendidas

Na verdade, no MITx " Fundamentos de Estatística " somos ensinados o contrário, que o MoM depende de equações específicas dos momentos e, se pegarmos a densidade errada, cometeremos um erro total, enquanto o MLE é mais resiliente, pois, em todos os casos, minimizamos a divergência KD ..

— Antonello
fonte

A falta de reputação não é uma desculpa legítima para usar o espaço de uma resposta para um comentário.

— Michael R. Chernick 27/10/19