Qual a relação entre modelos hierárquicos, redes neurais, modelos gráficos, redes bayesianas?

Todos eles parecem representar variáveis ​​aleatórias pelos nós e (in) dependência através das bordas (possivelmente direcionadas). Estou especialmente interessado no ponto de vista de um bayesiano.

Uma rede bayesiana é um tipo de modelo gráfico. O outro tipo "grande" de modelo gráfico é um campo aleatório de Markov (MRF). Modelos gráficos são usados ​​para inferência, estimativa e, em geral, para modelar o mundo.

O termo modelo hierárquico é usado para significar muitas coisas em diferentes áreas.

Embora as redes neurais venham com "gráficos", elas geralmente não codificam informações de dependência e os nós não representam variáveis ​​aleatórias. Os RNs são diferentes porque são discriminativos. Redes neurais populares são usadas para classificação e regressão.

Kevin Murphy tem uma excelente introdução a esses tópicos disponíveis aqui .

Como disse @carlosdc , uma rede bayesiana é um tipo de Modelo Gráfico (isto é, um gráfico acíclico direcionado (DAG) cuja estrutura define um conjunto de propriedades de independência condicional). Os modelos hierárquicos de Bayes também podem ser representados como DAGs; Os classificadores hierárquicos de Naive Bayes para dados incertos , de Bellazzi et al., Fornecem uma boa introdução à classificação com esses modelos. Sobre modelos hierárquicos, acho que muitos artigos podem ser recuperados pesquisando com palavras-chave apropriadas; por exemplo, encontrei este:

CH Jackson, NG Best e S. Richardson. Modelos gráficos bayesianos para regressão em vários conjuntos de dados com diferentes variáveis . Bioestatística (2008) 10 (2): 335-351.

Michael I. Jordan tem um bom tutorial sobre Modelos Gráficos , com várias aplicações baseadas no modelo fatorial Hidden Markov em bioinformática ou processamento de linguagem natural. Também vale a pena ler seu livro, Aprendendo em modelos gráficos (MIT Press, 1998) (há uma aplicação de GMs à modelagem estrutural com código BUGS , pp. 575-598)

As redes neurais não exigem anteriores, mas cada nó oculto (neurônios) de uma rede neural pode ser considerado como CPD - Ruído OR / AND CPD para um nó linear - CPD sigmóide para um nó logístico

Assim, as redes neurais podem ser vistas como várias camadas de nós ocultos, cada uma com CPDs lineares / sigmoidais

A aula de Koller no Coursera OU seu livro deve ser uma boa referência para os tipos de CPDs.