Problema prático de algoritmo EM

Esse é um problema de prática para um exame intermediário. O problema é um exemplo de algoritmo EM. Estou tendo problemas com a parte (f). Listo as partes (a) - (e) para conclusão e, caso tenha cometido um erro anteriormente.

Seja sejam variáveis ​​aleatórias exponenciais independentes com taxa . Infelizmente, os valores reais de não são observados e apenas observamos se os valores de caem dentro de certos intervalos. Seja , e para . Os dados observados consistem em .$X_1,\ldots,X_n$$\theta$$X$$X$$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$$G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$$G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$$j=1,\ldots,n$$(G_{1j},G_{2j},G_{3j})$

(a) Indique a probabilidade observada de dados:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Indique a probabilidade completa dos dados

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) Derive a densidade preditiva da variável latente$f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-passo. Dê a função$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

onde$N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Dê expressões para para . r = 1 , 2 , $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$$r=1,2,3$

Vou listar meus resultados, que tenho certeza de que estão certos, mas as derivações seriam um pouco longas para esta questão já longa:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

Esta é a parte em que estou preso, e pode ser por causa de um erro anterior:

(f) M-Step. Encontre o que maximizaQ ( θ , θ i$\theta$$Q(\theta,\theta^i)$

Pela lei da expectativa total, temos isso$\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Em seguida, devo definir isso como zero e resolver , mas tentei isso por um longo tempo e não consigo resolver !$\theta$$\theta$

A probabilidade completa de dados não deve envolver o G! Deve ser simplesmente a probabilidade de quando os são exponenciais. Observe que a probabilidade de dados completos, como você escreveu, simplifica para uma probabilidade exponencial, pois apenas um dos pode ser 1. Deixar os na probabilidade de dados completa, no entanto, atrapalha você mais tarde. X G r j$\theta$$X$$G_{rj}$$G$

Na parte (d) deve-se considerar a expectativa da probabilidade completa do log de dados, não a probabilidade observada do log de dados.

Além disso, você não deve estar usando a lei da expectativa total! Lembre-se de que G é observado e não é aleatório; portanto, você deve executar apenas uma dessas expectativas condicionais para cada . Simplesmente substitua essa expectativa condicional pelo termo e execute a etapa M.X ( i )$X_j$$X_j^{(i)}$

Com base nos comentários de @ jsk, tentarei corrigir meus erros:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

resolvendo , obtemos$\theta$$\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$