O que são cadeias de Markov?

Atualmente, estou lendo alguns artigos sobre o agrupamento de cadeias de Markov e não vejo a diferença entre uma cadeia de Markov e um gráfico ponderado direcionado simples.

Por exemplo, no artigo Agrupamento ideal do espaço de estado nas cadeias de Markov, eles fornecem a seguinte definição de CTMC (cadeia de Markov de tempo contínuo):

Consideramos um CTMC finito com espaço de estado S = { x 1 , x 2 , … , x n } por uma matriz de taxa de transição Q : S × S → R + .$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

Eles não mencionam a propriedade Markov e, de fato, se o peso nas bordas representa uma probabilidade, acredito que a propriedade Markov seja trivial, pois a probabilidade depende apenas do estado atual da cadeia e não do caminho que leva para isso.

Em outro artigo, Sobre as propriedades relacionais da Lumpability, as cadeias de Markov são definidas da mesma forma:

Uma cadeia de Markov será representada como um trigêmeo ( S , P , π ) onde S é o conjunto finito de estados de M , P a matriz de probabilidade de transição indicando a probabilidade de passar de um estado para outro e π é a probabilidade inicial distribuição que representa a probabilidade de o sistema iniciar em um determinado estado.$M$$(S, P, \pi)$$S$$M$$P$$\pi$

Novamente, nenhuma menção de passado, futuro ou independência.

Há um terceiro artigo Simple O (m logn) Time Markov Chain Lumping onde eles não apenas nunca afirmam que os pesos nas bordas são probabilidades, mas até dizem:

Em muitas aplicações, os valores não são negativos. No entanto, não fazemos essa suposição, porque também existem aplicativos em que W ( s , s ) é escolhido deliberadamente como - W ( s , S ∖ { s } ) , tornando-o geralmente negativo.$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

Além disso, afirma-se que o agrupamento deve ser uma maneira de reduzir o número de estados enquanto mantém a propriedade Markov (agregando um estado "equivalente" a um estado maior). No entanto, para mim, parece que está simplesmente somando probabilidades e nem deveria garantir que as peobabilidades resultantes das transições para / dos estados agregados estejam no intervalo $[0,1]$ . O que a massa realmente preserva então?

Então, existem duas possibilidades que eu vejo:

• Eu não entendi o que é uma cadeia de Markov, ou
• O uso do termo cadeia de Markov nesses documentos é falso

Alguém poderia esclarecer a situação?

Realmente parece que existem comunidades diferentes usando esse termo e elas significam coisas muito diferentes. Desses 3 artigos que estou considerando, parece que a propriedade Markov é trivial ou inútil, enquanto olhando para um tipo diferente de papel parece fundamental.

$N$$N \times N$ . Os matemáticos usam isso como um significado de eufemismo: "você mesmo deve provar".

Mas o primeiro artigo define uma notação consistente com uma Cadeia de Markov em tempo contínuo, às vezes chamado de Processo de Markov , enquanto o segundo artigo define uma notação consistente com uma Cadeia de Markov em tempo discreto . Eles dizem

$P$$\pi$

$[0,1]$$P$$1$$\pi$$1$ .

Não consigo ler o terceiro artigo, é pago. Se for necessário que as entradas em todas as colunas da matriz somarem 1, elas são probabilidades e estão falando sobre cadeias de Markov de tempo discreto. Se as entradas em todas as colunas puderem somar a um número arbitrário, as entradas representarão taxas não probabilidades, e elas estão falando sobre cadeias de Markov em tempo contínuo.

$1$

Com cadeias de Markov de tempo contínuo e de tempo discreto, a propriedade Markov é implícita pelos pesos constantes das arestas (ou equivalentemente pelas entradas constantes na matriz de transição).

As cadeias de Markov têm dois sabores: tempo contínuo e tempo discreto.

As cadeias contínuas de marcação a tempo (CTMC) e as cadeias discretas de marcação a tempo (DTMC) são representadas como gráficos ponderados direcionados.

Para DTMCs, as transições sempre levam uma unidade de "tempo". Como resultado, não há escolha para qual deve ser o seu peso em um arco - você coloca a probabilidade de ir para "j", pois está em "i".

Para os CTMC, o tempo de transição entre dois estados é necessariamente dado por uma variável aleatória exponencial. Essa é a principal diferença entre os CTMC e os DTMC: os DTMC sempre têm tempo de transição da unidade. Os CTMC têm tempo de transição aleatório.

Para um CTMC, a convenção geralmente consiste em colocar pesos em um arco de acordo com a taxa da variável aleatória exponencial que vai da fonte ao destino. Ou seja, a convenção é colocar taxas nos arcos, não probabilidades.

Taxas Negativas

Embora todos os CTMCs que eu me lembro tenham sido representados com taxas positivas nas bordas, taxas negativas surgem na análise CTMC.

Digamos que estamos no estado A, que está conectado a B, C e D, como abaixo.

A -> B (a taxa em A de B é negativa) A -> C (a taxa em A de C é negativa) D -> A (a taxa em A de D é positiva)

Provavelmente não é exatamente a que seu artigo se refere; Apresento isso para mostrar que pesos negativos não são necessariamente ridículos se alguém estava trabalhando com uma convenção adequada.

Propriedade Markov

Para DTMC's - você está certo. A propriedade markov é satisfeita trivialmente. Para os CTMC, a propriedade markov é satisfeita porque as transições são dadas por variáveis ​​aleatórias exponenciais (que são "sem memória"). Se as transições não fossem dadas por variáveis ​​aleatórias exponenciais (digamos que fossem uniformes), estaríamos falando de "cadeias semi-Markov" ou "processos semi-Markov".