Esclarecimento da Maximização de Expectativas

Achei um tutorial muito útil sobre o algoritmo EM .

O exemplo e a imagem do tutorial são simplesmente brilhantes.

insira a descrição da imagem aqui

Pergunta relacionada sobre como calcular probabilidades como funciona a maximização de expectativas?

Eu tenho outra pergunta sobre como conectar a teoria descrita no tutorial ao exemplo.

Durante a etapa E, EM escolhe uma função que limita os limites todos os lugares e para a qual . $g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

Então, qual é o em nosso exemplo, e parece que deve ser diferente para cada iteração. $g_t$

Além disso, no exemplo e depois aplicando-os aos dados que obtemos $\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

$Q(z)$ $Q(z)=P(z|x;\Theta)$

Obrigado.

— user16168
fonte

Achei essas anotações muito úteis para descobrir o que estava acontecendo no material suplementar.

Vou responder a essas perguntas um pouco fora de ordem para continuidade.

Primeiro: por que isso

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

Segundo: por que a desigualdade é estreita quando

Q (z) = P (z | x; θ)

$Q(z) = P(z|x;\theta)$

Há uma dica nas notas de rodapé sobre isso, onde diz:

$y=E[y]$

$Q$ $\frac{P(x, z; \theta)}{Q(z)}$

P (x, z; θ) = P (z | x; θ) P (x; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

o que torna nossa fração

\frac{P (z | x; θ) P (x; θ)}{P (z | x; θ)} = P (x; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

$P(x; \theta)$ $z$ $C$

\log (\sum_{z} Q (z) C) \geq \sum_{z} Q (z) \log (C)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

$Q(z)$

$g_t$

A resposta dada nas notas que vinculei é um pouco diferente da das notas complementares, mas elas diferem apenas por uma constante e estamos maximizando-a para que não tenha conseqüências. O que está nas notas (com derivação) é:

g_{t} (θ) = \log (P (x | θ^{(t)})) + \sum_{z} P (z | x; θ^{(t)}) \log (\frac{P (x | z; θ) P (z | θ)}{P (z | x; θ^{(t)}) P (x | θ^{(t)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

Essa fórmula complexa não é mencionada detalhadamente nas notas suplementares, provavelmente porque muitos desses termos serão constantes que são descartadas quando maximizamos. Se você está interessado em saber como chegamos aqui, recomendo as anotações que vinculei.

$g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— Mike
fonte