Ajuda na maximização de expectativas do papel: como incluir a distribuição prévia?

9

A questão é baseada no artigo intitulado: Reconstrução de imagens em tomografia óptica difusa usando o modelo de transporte-difusão radiativa acoplada

Link para Download

Os autores aplicam EM algoritmo com $l_1$ sparsity regularização de um vector desconhecida $\mu$ para estimar os pixels de uma imagem. O modelo é dado por

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ A estimativa é dada na Eq (8) como

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

No meu caso, considerei $\mu$ um filtro de comprimento $L$ e $\mathbf{\mu}$ são vetores $L \times 1$ representando os filtros. Então,

O modelo pode ser reescrito como

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Pergunta: Formulação do problema: ${\mu(n)}$ (n por 1) é a entrada não observada e $\{e(n)\}$ é a média zero com variação desconhecida $\sigma^2_e$ ruído aditivo. A solução MLE será baseada na Expectation Maximization (EM).

No artigo Eq (19) está a função $A$ - a probabilidade total de log completa, mas para o meu caso não entendo como posso incluir a distribuição de $A, \mu$ na expressão completa de probabilidade de log.

Qual será a probabilidade de log completa usando EM de $y$ incluindo a distribuição anterior?

— SKM
fonte

Você realmente deseja a probabilidade do log ou deseja o log-posterior? Somente este último incluirá o prior da Lapônia. O primeiro pode apenas ser obtida tomando o log da probabilidade, que parece que você já escreveu para fora

Há duas expressões que eu quero: (1) Uma que será usada para encontrar a Matriz de Informações de Fisher e a (2) outra será o pdf do conjunto completo de dados que inclui a variável oculta

e as observâncias que são as juntas. densidade de probabilidade dos dados observados em função do parâmetro

. O pdf que escrevi é aplicável ao modelo MA para estimativa cega de

. Mas como será diferente para a restrição de esparsidade = Laplacian anterior, para que a Matriz de Informações de Fisher das derivadas parciais da probabilidade logarítmica possa ser encontrada.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Xi'an: Eu não entendo como conectar os 3 pdfs, que inclui o anterior na formulação da probabilidade de log. Eu posso calcular a maximização que é pegar a derivada parcial e igualar a zero. Você poderia, por favor, responder com a expressão de probabilidade explicitamente escrita. Isso realmente vai ajudar

— SKM

3

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$ dado , por exemplo . Portanto, se maximizarmos em com a solução , temos enquanto pelos argumentos padrão de EM. Portanto, e usando como passo E o destino

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$ leva a um aumento na parte posterior em cada etapa M, o que significa que o algoritmo EM modificado converge para um mapa local.

— Xi'an
fonte

Obrigado por sua resposta. Será representam a pdf de ? Poderia, por favor, explicar por que existem duas expectativas com Sendo subtraído na Equação mencionada na segunda linha?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

Eu adicionei algumas explicações, mas você deve verificar em um livro a derivação do algoritmo EM, pois esse é um material padrão.

— Xian

1

Eu não acho que mostrar aumento monotônico log-posterior (ou probabilidade logarítmica para MLE) seja suficiente para mostrar convergência para o ponto estacionário da estimativa de MAP (ou MLE). Por exemplo, os incrementos podem se tornar arbitrariamente pequenos. No famoso artigo de Wu 1983 , uma condição suficiente para convergir para o ponto estacionário de EM é a diferenciabilidade nos dois argumentos da função de limite inferior.

— Jim.Z
fonte