Ao fazer Markov campos aleatórios

Em seu livro, Modelos Gráficos, Famílias Exponenciais e Inferência Variacional , M. Jordan e M. Wainwright discutem a conexão entre famílias Exponenciais e Campos Aleatórios de Markov (modelos gráficos não direcionados).

Estou tentando entender melhor o relacionamento entre eles com as seguintes perguntas:

• Todos os MRFs são membros das famílias exponenciais?
• Todos os membros das famílias exponenciais podem ser representados como um MRF?
• Se MRFs famílias exponenciais, quais são alguns bons exemplos de distribuições de um tipo não incluídas no outro ?$\neq$

Pelo que entendi em seu livro (Capítulo 3), Jordan e Wainwright apresentam o próximo argumento:

1. Digamos que temos uma variável aleatória escalar X, que segue alguma distribuição , e desenhe iid observações , e queremos identificar .$p$$n$$X^1, \ldots X^n$$p$

2. Calculamos as expectativas empíricas de certas funções$\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ para todos$\alpha \in \mathcal{I}$

   onde cada em algum conjunto indexa uma função$\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Então, se forçarmos os dois conjuntos de quantidades a seguir a serem consistentes, ou seja, a corresponder (para identificar ):$p$

   • As expectativas das estatísticas suficientes da distribuiçãoϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • As expectativas sob a distribuição empírica

temos um problema sub-determinado , no sentido de que existem muitas distribuições que são consistentes com as observações. Portanto, precisamos de um princípio para escolher entre eles (identificar ).$p$$p$

Se usarmos o princípio da entropia máxima para remover essa indeterminação, podemos obter um único :$p$

E p [ ( & Phi; ct ( X ) ] = u ct ct ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ sujeito a para todos$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

onde esse assume a forma exp onde representa uma parametrização da distribuição em forma de família exponencial.p θ ( x ) ct Σ ct ∈ I θ ct & Phi; ct ( x ) , θ ∈ R $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

Em outras palavras, se nós

1. Tornar as expectativas das distribuições consistentes com as expectativas da distribuição empírica
2. Use o princípio da entropia máxima para se livrar da indeterminação

$\rightarrow$ Terminamos com uma distribuição da família exponencial.

No entanto, isso parece mais um argumento para introduzir famílias exponenciais e (até onde eu entendi) não descreve o relacionamento entre MRFs e exp. famílias. Estou faltando alguma coisa?

Você está inteiramente correto - o argumento que você apresentou relaciona a família exponencial ao princípio da entropia máxima, mas não tem nada a ver com MRFs.

Para responder às suas três perguntas iniciais:

Todos os membros das famílias exponenciais podem ser representados como um MRF?

Todos os MRFs são membros das famílias exponenciais?

$are$

$\neq$

As distribuições de mistura são exemplos comuns de distribuições familiares não exponenciais. Considere o modelo linear de espaço de estados gaussiano (como um modelo de Markov oculto, mas com estados ocultos contínuos e distribuições de transição e emissão gaussianas). Se você substituir o núcleo de transição por uma mistura de gaussianos, a distribuição resultante não estará mais na família exponencial (mas ainda manterá a rica estrutura de independência condicional característica dos modelos gráficos práticos).

[1] http://en.wikipedia.org/wiki/Markov_random_field