O que são cadeias de Markov?


9

Atualmente, estou lendo alguns artigos sobre o agrupamento de cadeias de Markov e não vejo a diferença entre uma cadeia de Markov e um gráfico ponderado direcionado simples.

Por exemplo, no artigo Agrupamento ideal do espaço de estado nas cadeias de Markov, eles fornecem a seguinte definição de CTMC (cadeia de Markov de tempo contínuo):

Consideramos um CTMC finito com espaço de estado S = { x 1 , x 2 , , x n } por uma matriz de taxa de transição Q : S × SR + .(S,Q)S={x1,x2,,xn}Q:S×SR+

Eles não mencionam a propriedade Markov e, de fato, se o peso nas bordas representa uma probabilidade, acredito que a propriedade Markov seja trivial, pois a probabilidade depende apenas do estado atual da cadeia e não do caminho que leva para isso.

Em outro artigo, Sobre as propriedades relacionais da Lumpability, as cadeias de Markov são definidas da mesma forma:

Uma cadeia de Markov será representada como um trigêmeo ( S , P , π ) onde S é o conjunto finito de estados de M , P a matriz de probabilidade de transição indicando a probabilidade de passar de um estado para outro e π é a probabilidade inicial distribuição que representa a probabilidade de o sistema iniciar em um determinado estado.M(S,P,π)SMPπ

Novamente, nenhuma menção de passado, futuro ou independência.

Há um terceiro artigo Simple O (m logn) Time Markov Chain Lumping onde eles não apenas nunca afirmam que os pesos nas bordas são probabilidades, mas até dizem:

Em muitas aplicações, os valores não são negativos. No entanto, não fazemos essa suposição, porque também existem aplicativos em que W ( s , s ) é escolhido deliberadamente como - W ( s , S { s } ) , tornando-o geralmente negativo.W(s,s)W(s,s)W(s,S{s})

Além disso, afirma-se que o agrupamento deve ser uma maneira de reduzir o número de estados enquanto mantém a propriedade Markov (agregando um estado "equivalente" a um estado maior). No entanto, para mim, parece que está simplesmente somando probabilidades e nem deveria garantir que as peobabilidades resultantes das transições para / dos estados agregados estejam no intervalo [0,1] . O que a massa realmente preserva então?

Então, existem duas possibilidades que eu vejo:

  • Eu não entendi o que é uma cadeia de Markov, ou
  • O uso do termo cadeia de Markov nesses documentos é falso

Alguém poderia esclarecer a situação?

Realmente parece que existem comunidades diferentes usando esse termo e elas significam coisas muito diferentes. Desses 3 artigos que estou considerando, parece que a propriedade Markov é trivial ou inútil, enquanto olhando para um tipo diferente de papel parece fundamental.


Existem muitos livros e recursos na Internet que explicam (a) o que é uma cadeia de Markov e (b) qual é a definição matemática precisa. Esperamos que você faça uma quantidade significativa de pesquisa e auto-estudo antes de perguntar. Então, você consultou algum desses recursos? O que você achou lá? PS: Eu acho que os artigos da literatura pressupõem que você conhece a definição de uma cadeia de Markov, e essas sentenças não seriam necessariamente uma definição formal precisa de uma cadeia de Markov, mas apenas para estabelecer a notação que eles usam quando falam sobre um.
DW

Passado, futuro ou independência são propriedades que se seguem, iirc. Porém, deve haver algumas restrições no peso; talvez algumas coisas possam permanecer implícitas, como, por exemplo, atribuir peso de saída ausente a uma borda que leva a um estado coletor (consulte definições diferentes do DFA).
Raphael

4
@ DW Sim, eu fiz. O que eu descobri é que a noção de cadeia de Markov no livro didático parece não ter nada a ver com o conceito usado em tais artigos. É exatamente por isso que estou perguntando isso.
Bakuriu 24/03/2015

4
Novamente, há uma terceira possibilidade. Eu acho que o erro que você está cometendo é interpretar a afirmação nesses documentos como uma definição de uma cadeia de Markov. Eu acho que provavelmente não é essa a intenção dessas declarações. Eu acho que os autores assumem que você já está familiarizado com a definição de uma cadeia de Markov e está apenas tentando estabelecer alguma notação (existem vários tipos de notação que você pode usar para o mesmo conceito). Então, dê uma outra olhada desse ponto de vista e veja se você encontra algo que o contradiga nos documentos (se você encontrar algum, adicione-o à pergunta).
DW

4
@DW Parece que o OP fez uma pesquisa decente e estruturou sua pergunta de forma aceitável. Sim, podemos usar o google para aprender. Mas você percebeu como os sites SE são altamente classificados no Google? É porque condensamos informações em (geralmente) perguntas únicas e bem definidas. Os esforços colaborativos de nossa comunidade criam conteúdo muito rico e valioso, muitas vezes mais útil do que as páginas e páginas de informações disponíveis, resultando em um aprendizado mais eficiente.
BAR

Respostas:


10

NN×N . Os matemáticos usam isso como um significado de eufemismo: "você mesmo deve provar".

Mas o primeiro artigo define uma notação consistente com uma Cadeia de Markov em tempo contínuo, às vezes chamado de Processo de Markov , enquanto o segundo artigo define uma notação consistente com uma Cadeia de Markov em tempo discreto . Eles dizem

Pπ

[0,1]P1π1 .

Não consigo ler o terceiro artigo, é pago. Se for necessário que as entradas em todas as colunas da matriz somarem 1, elas são probabilidades e estão falando sobre cadeias de Markov de tempo discreto. Se as entradas em todas as colunas puderem somar a um número arbitrário, as entradas representarão taxas não probabilidades, e elas estão falando sobre cadeias de Markov em tempo contínuo.

1

Com cadeias de Markov de tempo contínuo e de tempo discreto, a propriedade Markov é implícita pelos pesos constantes das arestas (ou equivalentemente pelas entradas constantes na matriz de transição).


8

As cadeias de Markov têm dois sabores: tempo contínuo e tempo discreto.

As cadeias contínuas de marcação a tempo (CTMC) e as cadeias discretas de marcação a tempo (DTMC) são representadas como gráficos ponderados direcionados.

Para DTMCs, as transições sempre levam uma unidade de "tempo". Como resultado, não há escolha para qual deve ser o seu peso em um arco - você coloca a probabilidade de ir para "j", pois está em "i".

Para os CTMC, o tempo de transição entre dois estados é necessariamente dado por uma variável aleatória exponencial. Essa é a principal diferença entre os CTMC e os DTMC: os DTMC sempre têm tempo de transição da unidade. Os CTMC têm tempo de transição aleatório.

Para um CTMC, a convenção geralmente consiste em colocar pesos em um arco de acordo com a taxa da variável aleatória exponencial que vai da fonte ao destino. Ou seja, a convenção é colocar taxas nos arcos, não probabilidades.

Taxas Negativas

Embora todos os CTMCs que eu me lembro tenham sido representados com taxas positivas nas bordas, taxas negativas surgem na análise CTMC.

Digamos que estamos no estado A, que está conectado a B, C e D, como abaixo.

A -> B (a taxa em A de B é negativa) A -> C (a taxa em A de C é negativa) D -> A (a taxa em A de D é positiva)

Provavelmente não é exatamente a que seu artigo se refere; Apresento isso para mostrar que pesos negativos não são necessariamente ridículos se alguém estava trabalhando com uma convenção adequada.

Propriedade Markov

Para DTMC's - você está certo. A propriedade markov é satisfeita trivialmente. Para os CTMC, a propriedade markov é satisfeita porque as transições são dadas por variáveis ​​aleatórias exponenciais (que são "sem memória"). Se as transições não fossem dadas por variáveis ​​aleatórias exponenciais (digamos que fossem uniformes), estaríamos falando de "cadeias semi-Markov" ou "processos semi-Markov".


W(s,s)-W(s,S{s})s

W(s,s)=-W(s,S{s})
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.