Onde está a teoria dos grafos nos modelos gráficos?

29

As apresentações aos modelos gráficos as descrevem como "... um casamento entre a teoria dos grafos e a teoria das probabilidades".

Eu entendo a parte da teoria das probabilidades, mas tenho problemas para entender onde exatamente a teoria dos grafos se encaixa. Que idéias da teoria dos grafos ajudaram a aprofundar nossa compreensão das distribuições de probabilidades e tomada de decisão sob incerteza?

Estou procurando exemplos concretos, além do uso óbvio da terminologia teórica dos grafos nos PGMs, como classificar um PGM como uma "árvore" ou "bipartida" ou "não direcionada", etc.

graphical-model graph-theory distributions

— Vimal
fonte

33

Existe muito pouca teoria matemática gráfica verdadeira em modelos gráficos probabilísticos, onde por teoria matemática gráfica verdadeira quero dizer provas sobre cliques, ordens de vértices, teoremas de min-cut de fluxo máximo e assim por diante. Mesmo algo tão fundamental quanto o Teorema de Euler e o Lema de Handshaking não é usado, embora eu suponha que alguém possa invocá-los para verificar alguma propriedade do código de computador usado para atualizar estimativas probabilísticas. Além disso, os modelos gráficos probabilistas raramente usam mais do que um subconjunto das classes de gráficos, como multi-gráficos. Teoremas sobre fluxos em gráficos não são usados em modelos gráficos probabilísticos.

Se o aluno A fosse um especialista em probabilidade, mas não sabia nada sobre teoria dos grafos, e o aluno B fosse um especialista em teoria dos grafos, mas não sabia nada sobre probabilidade, então A certamente aprenderia e entenderia modelos gráficos probabilísticos mais rapidamente do que B.

— David G. Stork
fonte

8

Em sentido estrito, a teoria dos grafos parece fracamente conectada aos PGMs. No entanto, algoritmos gráficos são úteis. Os PGMs começaram com inferência de passagem de mensagem, que é um subconjunto da classe geral de algoritmos de passagem de mensagem em gráficos (pode ser, esse é o motivo da palavra "gráfica" neles). Os algoritmos de corte de gráfico são amplamente utilizados para inferência de campo aleatório de Markov na visão computacional; eles são baseados nos resultados semelhantes ao teorema de Ford – Fulkerson (fluxo máximo igual a corte mínimo); os algoritmos mais populares são provavelmente Boykov – Kolmogorov e IBFS.

Referências. [Murphy, 2012 , §22.6.3] aborda o uso de cortes de gráfico para inferência de MAP. Veja também [Kolmogorom e Zabih, 2004 ; Boykov et al., PAMI 2001] , que cobrem otimização em vez de modelagem.

— Roman Shapovalov
fonte

Interessante notar que algoritmos de corte de gráfico são usados em MRFs. Você poderia apontar para uma referência? Com base na resposta de David Stork acima, parece que esses algoritmos surgem devido ao fato de a teoria dos grafos ser uma ferramenta de modelagem útil, em vez de alguma conexão fundamental entre a teoria dos grafos e os PGMs.

— Vimal

Eu adicionei as referências como você pediu. Como em sua última declaração, como podemos separar as causas, ou seja, saber se é fundamental ou não?

— Roman Shapovalov

@overrider você poderia fornecer referências completas para que os artigos pudessem ser pesquisados facilmente? A pesquisa no Google pode levar as pessoas às referências, mas também pode acabar perdendo tempo para resultados irrelevantes. Portanto, títulos, editores, nomes de periódicos, links etc. são algo a acrescentar.

— Tim

2

Os algoritmos de corte de gráfico são úteis na visão computacional, mas não nos modelos gráficos probabilísticos. Um problema na visão estéreo é o problema da correspondência: descobrir quais pontos da imagem A correspondem aos pontos da imagem B. É possível configurar um gráfico em que os vértices correspondem aos pontos de destaque nas duas imagens e um gráfico representa todas as correspondências possíveis. Então, o problema de encontrar as correspondências "apropriadas" pode ser apresentado como um problema de corte de gráfico. Não existe tal uso em modelos gráficos genéricos, embora eu suponha que alguém possa tentar mapear esse problema de visão computacional em modelos gráficos.

— David G. Stork

2

@ DavidG.Stork Existem outros problemas de visão computacional que aplicam cortes de gráficos de maneira semelhante: segmentação de imagens, colagens, etc., portanto a abordagem é bastante geral. Esses problemas podem ser expressos naturalmente em termos de modelos gráficos não direcionados (embora os trabalhos nem sempre façam isso). Isso permite o uso de diferentes algoritmos de inferência MRF, bem como o ajuste do modelo. Por outro lado, os cortes de gráficos podem otimizar um subconjunto bastante grande de MRFs, portanto, podem ser aplicados além da visão, por exemplo, para análise de redes sociais (embora eu não possa me lembrar de documentos específicos agora).

— Roman Shapovalov

4

Houve algum trabalho investigando a ligação entre a facilidade de decodificação dos códigos de verificação de paridade de baixa densidade (que obtém excelentes resultados quando você o considera um gráfico probablístico e aplica a propagação de crenças de Loopy) e a circunferência do gráfico formado pela matriz de verificação de paridade . Esse vínculo com a circunferência remonta ao momento em que os LDPCs foram inventados [1], mas houve mais trabalho na última década [2] [3] após a redescoberta separadamente por Mackay et al [4] e suas propriedades foram notadas .

Vejo frequentemente o comentário de pearl sobre o tempo de convergência da propagação da crença, dependendo do diâmetro do gráfico que está sendo citado. Mas não conheço nenhum trabalho que analise diâmetros de gráficos em gráficos que não sejam árvores e que efeito isso tem.

RG Gallager. Códigos de verificação de paridade de baixa densidade. MIT Press, 1963
IE Bocharova, F. Hug, R. Johannesson, BD Kudryashov e RV Satyukov. Novos códigos de verificação de paridade de baixa densidade com grande perímetro baseado em hipergrafos. Em Processos de Teoria da Informação (ISIT), Simpósio Internacional IEEE de 2010, páginas 819 a 823, 2010.
SC Tatikonda. Convergência do algoritmo soma-produto. In Workshop de Teoria da Informação, 2003. Proceedings. 2003 IEEE, páginas 222 - 225, 2003
David JC MacKay e RM Neal. Perto de Shannon, limita o desempenho de códigos de verificação de paridade de baixa densidade. Electronics Letters, 33 (6): 457-458, 1997.

— Pat
fonte

3

Uma aplicação bem-sucedida de algoritmos de gráficos em modelos gráficos probabilísticos é o algoritmo de Chow-Liu . Ele resolve o problema de encontrar a estrutura ótima do gráfico (em árvore) e baseia-se no algoritmo máximo de spanning trees (MST).

p (x | T) = \prod_{t \in V} p (x_{t}) \prod_{(s, t) \in E} \frac{p (x_{s}, x_{t})}{p (x_{s}) p (x_{t})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} \log P (D | θ, T) = \sum_{t \in V} \sum_{k} p_{M L} (x_{t} = k) \log p_{M L} (x_{t} = k) + \sum_{(s, t) \in E} I (x_{s}; x_{t} | θ_{s t})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$

$I(x_s;x_t|\theta_{st})$

— Vadim Smolyakov
fonte

Oi Vadim. Obrigado pela sua resposta. Como uma formulação em termos teóricos dos grafos, faz sentido. Mas pode-se ver isso como um problema de otimização também. O espírito da questão era investigar uma conexão mais fundamental. Por exemplo, pode-se formular o problema de classificação como uma classificação topológica em um gráfico, onde os nós são números e as setas indicam <= relacionamento. Mas isso não faz uma conexão fundamental entre algoritmos de classificação e gráfico, certo?

— Vimal