Estimativa MLE vs MAP, quando usar qual?

MLE = Estimativa de Máxima Verossimilhança

MAP = Máximo a posteriori

O MLE é intuitivo / ingênuo, pois começa apenas com a probabilidade de observação dada o parâmetro (ou seja, a função de verossimilhança) e tenta encontrar o parâmetro que melhor se adequa à observação . Mas não leva em consideração o conhecimento prévio.

O MAP parece mais razoável, porque leva em consideração o conhecimento prévio da regra de Bayes.

Aqui está uma pergunta relacionada, mas a resposta não é completa. /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

Então, acho que o MAP é muito melhor. Isso está certo? E quando devo usar qual?

Se uma probabilidade anterior for fornecida como parte da configuração do problema, use essas informações (por exemplo, use MAP). Se nenhuma informação anterior for fornecida ou assumida, o MAP não será possível e o MLE será uma abordagem razoável.

Um bayesiano concordaria com você, um freqüentador não concordaria. Esta é uma questão de opinião, perspectiva e filosofia. Eu acho que faz muito mal à comunidade de estatísticas tentar argumentar que um método é sempre melhor que o outro. Muitos problemas terão soluções bayesianas e freqüentistas semelhantes, desde que o bayesiano não tenha um forte anterior.

Supondo que você tenha informações prévias precisas, o MAP é melhor se o problema tiver uma função de perda zero-uma na estimativa. Se a perda não é zero-um (e em muitos problemas do mundo real não é), pode acontecer que o MLE atinja a menor perda esperada. Nesses casos, seria melhor não se limitar ao MAP e ao MLE como as duas únicas opções, pois ambas são abaixo do ideal.

A resposta curta de @bean explica muito bem. No entanto, gostaria de apontar para a seção 1.1 do artigo Gibbs Sampling para os não iniciados por Resnik e Hardisty, que leva o assunto a uma profundidade maior. Estou escrevendo algumas linhas deste artigo com modificações muito pequenas (esta resposta repete algumas das coisas que o OP sabe por uma questão de integridade)

MLE

Formalmente, o MLE produz a escolha (do parâmetro do modelo) com maior probabilidade de gerar os dados observados.

MAPA

Um MAP estimado é a escolha mais provável, dados os dados observados. Ao contrário do MLE, a estimativa do MAP aplica a Regra de Bayes, para que nossa estimativa possa levar em consideração o conhecimento prévio sobre o que esperamos que nossos parâmetros sejam na forma de uma distribuição de probabilidade anterior.

Pegar

As estimativas MLE e MAP estão nos dando a melhor estimativa, de acordo com suas respectivas definições de "melhor". Mas observe que o uso de uma única estimativa - seja MLE ou MAP - descarta as informações. Em princípio, o parâmetro pode ter qualquer valor (do domínio); podemos não obter melhores estimativas se levarmos em conta toda a distribuição, em vez de apenas um único valor estimado para o parâmetro? Se fizermos isso, usaremos todas as informações sobre o parâmetro que podemos extrair dos dados observados, X.

Portanto, com essa captura, podemos querer usar nenhuma delas. Além disso, como já mencionado por bean e Tim, se você precisar usar um deles, use MAP se tiver obtido anteriormente. Se você não tem antecedentes, o MAP reduz para o MLE. Priores conjugados ajudarão a resolver o problema analiticamente, caso contrário, use Gibbs Sampling.

Se os dados forem menores e você tiver antecedentes disponíveis - "IR PARA O MAPA". Se você tiver muitos dados, o MAP convergirá para o MLE. Portanto, no caso de muitos cenários de dados, é sempre melhor executar o MLE em vez do MAP.