Como sei qual método de estimativa de parâmetro escolher?

Existem alguns métodos para estimativa de parâmetros por aí. MLE, UMVUE, MoM, teoria da decisão e outros parecem ter um caso bastante lógico do motivo pelo qual são úteis para a estimativa de parâmetros. Existe um método melhor do que os outros, ou é apenas uma questão de como definimos qual é o estimador de "melhor ajuste" (semelhante à forma como a minimização de erros ortogonais produz estimativas diferentes de uma abordagem comum de mínimos quadrados)?

Há uma pequena confusão de duas coisas aqui: métodos para derivar estimadores e critérios para avaliar estimadores. Máxima verossimilhança (ML) e método de momentos (MoM) são formas de derivar estimadores; A imparcialidade uniformemente mínima de variância (UMVU) e a teoria da decisão são critérios para avaliar diferentes estimadores quando você os tiver, mas eles não lhe dirão como derivá-los.

Dos métodos para obter estimadores, o ML geralmente produz estimadores que são mais eficientes (ou seja, menor variação) que o MoM, se você conhece o modelo no qual seus dados foram derivados (o 'processo de geração de dados' (DGP) no jargão). Mas o MoM faz menos suposições sobre o modelo; como o próprio nome indica, ele usa apenas um ou mais momentos, geralmente apenas a média ou apenas a média e a variação; portanto, às vezes é mais robusto se você não tiver certeza sobre o DGP. Pode haver mais de um estimador MoM para o mesmo problema, enquanto que se você conhece o DGP, existe apenas um estimador ML.

Dos métodos para avaliar estimadores, a teoria da decisão depende de ter uma função de perda a ser usada para julgar seu estimador, embora os resultados possam ser razoavelmente robustos a uma gama de funções de perda "razoáveis". Os estimadores de UMVU geralmente nem existem; em muitos casos, não existe um estimador imparcial que sempre tenha variação mínima. E o critério da imparcialidade também é de utilidade questionável, pois não é invariável às transformações. Por exemplo, você prefere um estimador imparcial do odds ratio ou do log odds ratio? Os dois serão diferentes.

Eu sugeriria que o tipo de estimador depende de algumas coisas:

1. Quais são as consequências de errar a estimativa? (por exemplo, é menos ruim se o seu estimador for muito alto, comparado a ser muito baixo? ou você é indiferente à direção do erro? se um erro é duas vezes maior, isso é duas vezes mais ruim? é erro percentual ou erro absoluto isso é importante? A estimativa é apenas a etapa intermediária necessária para a previsão? o comportamento da amostra grande é mais ou menos importante que o comportamento da amostra pequena?)
2. Qual é a sua informação prévia sobre a quantidade que você está estimando? (por exemplo, como os dados estão funcionalmente relacionados à sua quantidade? você sabe se a quantidade é positiva? discreta? você já estimou essa quantidade antes? quantos dados você possui? Existe alguma estrutura de "invariância de grupo" nos seus dados?)
3. Qual software você tem? (por exemplo, não é bom sugerir o MCMC se você não tiver o software para fazê-lo, ou usar um GLMM se não souber como fazê-lo.)

Os dois primeiros pontos são específicos do contexto e, pensando em sua aplicação específica , você geralmente poderá definir certas propriedades que gostaria que seu estimador tivesse. Em seguida, você escolhe o estimador que pode realmente calcular, que possui tantas das propriedades que deseja que ele tenha.

Eu acho que a falta de contexto que um curso de ensino tem com a estimativa significa que frequentemente o critério "padrão" é usado, da mesma forma para informações anteriores (o "padrão" mais óbvio é que você conhece a distribuição amostral de seus dados). Dito isto, alguns dos métodos padrão são bons, especialmente se você não souber o suficiente sobre o contexto. Mas se você fazer conhecer o contexto, e você tem as ferramentas para incorporar nesse contexto, então você deve, caso contrário você pode obter resultados contra-intuitivos (por causa do que você ignorado).

Como regra geral, eu não sou um grande fã do MVUE, porque muitas vezes você precisa sacrificar muita variação para obter imparcialidade. Por exemplo, imagine que você está jogando dardos em um alvo de dardos e quer acertar o alvo. Supondo que o desvio máximo do alvo seja de 6 cm para uma estratégia de arremesso específica, mas o centro dos pontos de dardo está 1 cm acima do alvo. Este não é o MVUE, porque o centro deve estar no alvo. Mas suponha que, para diminuir a distribuição em 1 cm (em média), você precise aumentar seu raio para pelo menos 10 cm (portanto, o erro máximo agora é de 10 cm e não de 6 cm). Esse é o tipo de coisa que pode acontecer com o MVUE, a menos que a variação já seja pequena. Suponha que eu tenha feito um arremesso muito mais preciso e possa reduzir meu erro para 0,1 cm. Agora o viés realmente importa, porque eu nunca vou acertar o alvo!

Em resumo, para mim, o viés só importa quando é pequeno comparado à variação. E você normalmente só obtém pequenas variações quando possui uma amostra grande.