Por que o algoritmo de maximização de expectativa é usado?

Pelo pouco que sei, o algoritmo EM pode ser usado para encontrar a máxima probabilidade ao zerar as derivadas parciais em relação aos parâmetros da probabilidade, fornecendo um conjunto de equações que não podem ser resolvidas analiticamente. Mas é necessário o algoritmo EM, em vez de usar alguma técnica numérica, para tentar encontrar o máximo de probabilidade com relação à restrição do conjunto de equações mencionado.

A pergunta é legítima e eu tive a mesma confusão quando aprendi o algoritmo EM.

Em termos gerais, o algoritmo EM define um processo iterativo que permite maximizar a função de probabilidade de um modelo paramétrico no caso em que algumas variáveis ​​do modelo são (ou são tratadas como) "latentes" ou desconhecidas.

Em teoria, com o mesmo objetivo, você pode usar um algoritmo de minimização para encontrar numericamente o máximo da função de probabilidade para todos os parâmetros. No entanto, em situação real, essa minimização seria:

1. muito mais computacionalmente intensivo
2. menos robusto

Uma aplicação muito comum do método EM é a montagem de um modelo de mistura. Nesse caso, considerando a variável que atribui cada amostra a um componente como variáveis ​​"latentes", o problema é bastante simplificado.

Vamos ver um exemplo. Temos N amostras extraídas de uma mistura de 2 distribuições normais. Para encontrar os parâmetros sem EM, devemos minimizar:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Pelo contrário, usando o algoritmo EM, primeiro "atribuímos" cada amostra a um componente ( etapa E ) e depois ajustamos (ou maximizamos a probabilidade de) cada componente separadamente ( etapa M ). Neste exemplo, a etapa M é simplesmente uma média ponderada para encontrar e . A iteração nessas duas etapas é uma maneira mais simples e robusta de minimizar .σ k - logaritmo L ( x , θ $\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

O EM não é necessário em vez de usar alguma técnica numérica porque o EM também é um método numérico. Portanto, não é um substituto para Newton-Raphson. EM é para o caso específico em que faltam valores em sua matriz de dados. Considere-se uma amostra que tem densidade condicional F X | Θ ( x | θ ) . Então a probabilidade logarítmica disso é l ( θ ; X ) = l o g f X | $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$ Agora, suponha que você não tenha um conjunto de dados completo, de modo que X seja composto pelos dados observados Y epelasvariáveis ​​ausentes (ou latentes) Z , de modo que X = ( Y , Z ) . Então a probabilidade logarítmica para os dados observados é l o b s ( θ , Y ) = l o g ∫ f X | Θ ( Y , z | θ ) ν z

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ Em geral, você não pode calcular esta integral diretamente e não obterá uma solução em forma fechada para l o b s ( θ , Y ) . Para esse fim, você usa o método EM. Existem duas etapas que são iteradas por i vezes. Nestaetapa ( i + 1 ) t h, estas são as etapas de expectativa em que você calcula Q ( θ | θ ( i ) ) = E θ ( i ) [ l ( $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ onde θ ( i ) é a estimativa de Θ nopasso i t h . Em seguida, calcule a etapa de maximização na qual você maximiza Q ( θ | θ ( i ) ) em relação a θ e define θ ( i + 1 ) = m a x Q ( θ | θ i $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$. Você repete essas etapas até o método convergir para algum valor que será sua estimativa.

Se você precisar de mais informações sobre o método, suas propriedades, provas ou aplicativos, consulte o artigo correspondente na Wiki .

O EM é usado porque geralmente é inviável ou impossível calcular diretamente os parâmetros de um modelo que maximiza a probabilidade de um conjunto de dados, dado esse modelo.