Um modelo gráfico probabilístico (PGM) é um formalismo gráfico para modelar compactamente distribuições de probabilidade conjuntas e (in) relações de dependência sobre um conjunto de variáveis aleatórias. Um PGM é chamado de rede bayesiana quando o gráfico subjacente é direcionado e um campo aleatório de rede / Markov de Markovquando o gráfico subjacente não for direcionado. De um modo geral, você usa o primeiro para modelar a influência probabilística entre variáveis que têm uma direcionalidade clara, caso contrário, o último; nas duas versões dos PGMs, a falta de arestas nos gráficos associados representa independências condicionais nas distribuições codificadas, embora sua semântica exata seja diferente. O "Markov" em "Rede Markov" refere-se a uma noção genérica de independência condicional codificada por PGMs, a de um conjunto de variáveis aleatórias xA sendo independente de outras xC dado um conjunto de variáveis "importantes" xB (o nome técnico é um cobertor de Markov ), ou seja,p(xA|xB,xC)=p(xA|xB) .
{Xt}X1,X2,X3,...p(xt+1|xt,xt−1,...,x1)=p(xt+1|xt)A={t+1},B={t}C{t−1,t−2,...,1}p(xA|xB,xC)=p(xA|xB)Xt+1Xt
Portanto, você pode representar um processo de Markov com uma rede bayesiana , como uma cadeia linear indexada pelo tempo (por simplicidade, consideramos apenas o caso de tempo / estado discretos aqui; figura do livro PRML de Bishop):
Esse tipo de rede bayesiana é conhecido como rede bayesiana dinâmica . Como se trata de uma rede bayesiana (daí um PGM), pode-se aplicar algoritmos PGM padrão para inferência probabilística (como o algoritmo soma-produto, do qual as equações de Chapman-Kolmogorov representam um caso especial) e estimativa de parâmetros (por exemplo, probabilidade máxima, que ferve até contagem simples) ao longo da cadeia. Exemplos de aplicações disso são o modelo de linguagem HMM e n-grama.
Muitas vezes, você vê um diagrama representando uma cadeia de Markov como esta![insira a descrição da imagem aqui](https://i.stack.imgur.com/KH8CC.gif)
p(Xt|Xt−1)Xt(X(1)t,...X(D)t)p(X(1)t,...X(D)t|X(1)t−1,...X(D)t−1)
Xtt→∞p(xt+1|xt,xt−1,...,x1)=p(xt+1|xt)