Raciocínio intuitivo por trás de estimadores tendenciosos de máxima verossimilhança

25

Eu tenho uma confusão sobre estimadores tendenciosos de máxima verossimilhança (ML). A matemática de todo o conceito é bastante clara para mim, mas não consigo descobrir o raciocínio intuitivo por trás dele.

Dado um determinado conjunto de dados que possui amostras de uma distribuição, que é uma função de um parâmetro que queremos estimar, o estimador de ML resulta no valor do parâmetro com maior probabilidade de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que: como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?

maximum-likelihood bias

— ssah
fonte

Possível duplicado de Probabilidade Máxima Estimação (MLE) em termos leigos

— b Kjetil Halvorsen

Acho que o foco no viés aqui pode distinguir essa pergunta da duplicata proposta, embora elas estejam certamente muito relacionadas.

— Silverfish

14

o estimador de ML resulta no valor do parâmetro com maior probabilidade de ocorrer no conjunto de dados.

Dadas as suposições, o estimador de ML é o valor do parâmetro que tem a melhor chance de produzir o conjunto de dados.

Não consigo entender intuitivamente um estimador tendencioso de ML no sentido de que "como o valor mais provável para o parâmetro pode prever o valor real do parâmetro com um viés em direção a um valor errado?"

Viés é sobre as expectativas das distribuições de amostragem. "O mais provável é produzir os dados" não se refere às expectativas de distribuição de amostras. Por que eles deveriam ir juntos?

Qual é a base sobre a qual é surpreendente que eles não correspondam necessariamente?

Eu sugiro que você considere alguns casos simples de MLE e pondere como a diferença surge nesses casos específicos.

Como exemplo, considere observações sobre um uniforme em . A maior observação é (necessariamente) não maior que o parâmetro, portanto, o parâmetro só pode assumir valores pelo menos tão grandes quanto a maior observação. $(0,\theta)$

Quando você considera a probabilidade de , é (obviamente) maior quanto mais próximo da observação maior. Portanto, é maximizado na maior observação; essa é claramente a estimativa para que maximiza a chance de obter a amostra que você obteve: $\theta$ $\theta$ $\theta$

insira a descrição da imagem aqui

Mas, por outro lado, deve ser tendencioso, já que a maior observação é obviamente (com probabilidade 1) menor que o valor real de ; qualquer outra estimativa de não descartada pela própria amostra deve ser maior que ela e deve (claramente nesse caso) ser menos provável de produzir a amostra. $\theta$ $\theta$

A expectativa da maior observação de um é ; portanto, a maneira usual de desacreditar é usar como estimador de : , onde é a maior observação. $U(0,\theta)$ $\frac{n}{n+1}$ $\theta$ $\hat\theta=\frac{n+1}{n}X_{(n)}$ $X_{(n)}$

Isso está à direita do MLE e, portanto, tem uma menor probabilidade.

— Glen_b -Reinstate Monica
fonte

obrigado pela sua resposta. Sobre a primeira parte, eu me expressei incorretamente. Eu basicamente quis dizer o que você disse. Com base na sua resposta à segunda parte, posso concluir que, dado outro conjunto de dados extraídos da mesma distribuição, o estimador de ML resultará em um viés diferente? Desde que você diz que o estimador de ML é aquele que "provavelmente" produz os dados. Se alterarmos os dados, algum outro estimador provavelmente os produzirá. Isso está correto?

— Ssah # 4/14

O estimador não mudará se a forma da distribuição da população não mudar. Alguma outra estimativa será produzida com uma amostra diferente e a quantidade pela qual ela é tendenciosa geralmente será diferente - a tendência geralmente está relacionada ao tamanho da amostra, mesmo que a população seja a mesma. ... (ctd)

— Glen_b -Replica Monica

(ctd) ...

$\quad$

m

$m$

n

$n$

θ

$\theta$

Bom uso do exemplo canônico para ver a diferença entre estimadores imparciais e ML.

— GTC

6

$\beta^{MLE}$ não é o valor mais provável de . O valor mais provável é próprio . maximiza a probabilidade de extrair a amostra que realmente obtivemos. $\beta$ $\beta$ $\beta^{MLE}$

$\frac{N}{N-1}$

— Dimitriy V. Masterov
fonte

Desculpe pelo erro na primeira parte. Eu editei e consertei. Mas sobre o que você disse sobre o MLE, por que seria tendencioso em primeiro lugar no caso não assintótico?

— ssaH

2

"Melhor" depende do que você olha; A correção de Bessel a torna imparcial, mas a imparcialidade não é, por si só, automaticamente "melhor" (o MSE é pior, por exemplo; por que devo preferir o imparcialidade do que o MSE menor?). Pode-se argumentar que a imparcialidade é melhor, ceteris paribus , mas, infelizmente, o ceteris não será paribus .

— Glen_b -Reinstate Monica

Meu entendimento era que o estimador imparcial pode ser mostrado como melhor imparcial através do relacionamento entre o MLE e o limite inferior de Cramer-Rao.

— Dimitriy V. Masterov

@ssah Disseram-me que é porque estamos usando a média da amostra em vez da média verdadeira na fórmula. Para ser sincero, nunca achei essa explicação particularmente intuitiva, porque se o estimador MLE da média é imparcial, por que isso deveria dar errado? Eu costumo colocar minhas dúvidas em uma simulação.

— Dimitriy V. Masterov

5

Aqui está a minha intuição.

Viés é uma medida de precisão , mas também há uma noção de precisão .

insira a descrição da imagem aqui

Em um mundo ideal, obteríamos a estimativa, que é precisa e exata, ou seja, sempre atinge o alvo. Infelizmente, em nosso mundo imperfeito, precisamos equilibrar exatidão e precisão. Às vezes, podemos sentir que poderíamos dar um pouco de precisão para obter mais precisão: trocamos o tempo todo. Portanto, o fato de um estimador ser tendencioso não significa que é ruim: pode ser que seja mais preciso.

— Aksakal
fonte