Exemplo de estimativa máxima a posteriori

Eu tenho lido sobre estimativa de máxima verossimilhança e estimativa máxima a posteriori e até agora encontrei exemplos concretos apenas com a estimativa de máxima verossimilhança. Encontrei alguns exemplos abstratos de estimativa máxima a posteriori, mas nada concreto ainda com números: S

Pode ser muito esmagador, trabalhando apenas com variáveis ​​e funções abstratas e, para não se afogar nessa abstração, é bom relacionar as coisas com o mundo real de tempos em tempos. Mas é claro que essa é apenas a minha observação (e de outras pessoas) :)

Portanto, alguém poderia me dar um exemplo simples, mas concreto, da estimativa de Máximo A Posteriori com números? Isso ajudaria muito :)

Obrigado!

Originalmente, eu postei essa pergunta no MSE, mas não consegui obter uma resposta lá:

/math/449386/example-of-maximum-a-posteriori-estimation

Segui as instruções fornecidas aqui na postagem cruzada:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

1º exemplo

Um caso típico é a marcação no contexto do processamento de linguagem natural. Veja aqui uma explicação detalhada. A idéia é basicamente ser capaz de determinar a categoria lexical de uma palavra em uma frase (é um substantivo, um adjetivo, ...). A idéia básica é que você tenha um modelo de sua linguagem consistindo em um modelo de markov oculto ( HMM ). Nesse modelo, os estados ocultos correspondem às categorias lexicais e os estados observados às palavras reais.

O respectivo modelo gráfico tem a forma,

onde é a sequência de palavras na frase e é a sequência de tags.$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

Uma vez treinado, o objetivo é encontrar a sequência correta de categorias lexicais que correspondem a uma determinada frase de entrada. Isso é formulado para encontrar a sequência de tags que são mais compatíveis / provavelmente geradas pelo modelo de linguagem, ou seja,

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

2º Exemplo

Na verdade, um exemplo melhor seria regressão. Não apenas porque é mais fácil de entender, mas também porque torna claras as diferenças entre máxima verossimilhança (ML) e máxima a posteriori (PAM).

Basicamente, o problema é o de ajustar alguma função fornecida pelas amostras com uma combinação linear de um conjunto de funções , onde são as funções e são os pesos. É geralmente assumido que as amostras estão corrompidas pelo ruído gaussiano. Portanto, se assumirmos que a função de destino pode ser exatamente escrita como uma combinação linear, teremos,$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

portanto, temos A solução ML desse problema é equivalente a minimizar,$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

que produz a conhecida solução de erro do quadrado mínimo. Agora, ML é sensível ao ruído e, em certas circunstâncias, não é estável. O MAP permite que você escolha melhores soluções, colocando restrições nos pesos. Por exemplo, um caso típico é a regressão de crista, em que você exige que os pesos tenham uma norma o menor possível,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

o que equivale a definir um Gaussian anterior nos pesos . Ao todo, os pesos estimados são$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

Observe que no MAP os pesos não são parâmetros como no ML, mas variáveis ​​aleatórias. No entanto, tanto o ML quanto o MAP são estimadores pontuais (eles retornam um conjunto ótimo de pesos, em vez de uma distribuição de pesos ótimos).