Qual é a diferença entre cadeias de Markov e processos de Markov?

16

Estou lendo informações conflitantes: às vezes a definição se baseia em se o espaço de estados é discreto ou contínuo e, outras vezes, se o tempo é discreto ou contínuo.

Slide 20 deste documento :

Um processo de Markov é chamado de cadeia de Markov se o espaço de estados for discreto, ou seja, é finito ou contável, o espaço é discreto, ou seja, é finito ou contável.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Um processo de Markov é a versão em tempo contínuo de uma cadeia de Markov.

Ou pode-se usar a cadeia de Markov e o processo de Markov como sinônimos, precisando se o parâmetro time é contínuo ou discreto e se o espaço de estados é contínuo ou discreto.

Atualização 2017-03-04: a mesma pergunta foi feita em https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

terminology stochastic-processes markov-process

— Franck Dernoncourt
fonte

11

Na minha experiência, a primeira definição está errada. As cadeias de Markov são usadas frequentemente no contexto de amostragem de uma distribuição posterior (MCMC). Estes posteriores podem ser definidos em um espaço de estado finitnte ou contínuo; então a primeira definição provavelmente está incorreta. O segundo faz mais sentido. No entanto, não creio que exista muita diferença entre eles, já que muitas vezes vi a frase, cadeias de Markov em tempo contínuo.

— Greenparker

11

Lembro que o que aprendi no livro de texto é que o processo de markov é o termo mais genérico, e a cadeia de markov é discreta no tempo e indica um caso especial discreto.

— Haitao Du

8

Do prefácio à primeira edição de "Cadeias de Markov e estabilidade estocástica" de Meyn e Tweedie:

Aqui lidamos com cadeias de Markov. Apesar das tentativas iniciais de Doob e Chung [99,71] de reservar esse termo para sistemas que evoluem em espaços contáveis com parâmetros de tempo discretos e contínuos, o uso parece ter decretado (ver, por exemplo, Revuz [326]) que as cadeias de Markov se movem tempo discreto, em qualquer espaço que desejarem; e esses são os sistemas que descrevemos aqui.

Edit: as referências citadas pela minha referência são, respectivamente:

99: JL Doob. Processos estocásticos . John Wiley & Sons, Nova Iorque 1953

71: KL Chung. Cadeias de Markov com probabilidades de transição estacionárias . Springer-Verlag, Berlim, segunda edição, 1967.

326: D. Revuz. Cadeias de Markov . North-Holland, Amsterdã, segunda edição, 1984.

— Taylor
fonte

6

Um método de classificação de processos estocásticos é baseado na natureza de time parameter( discreto ou contínuo ) e state space( discreto ou contínuo ). Isso leva a quatro categorias de processos estocásticos.

Se o state spacede processo estocástico é discreto , se a time parameteré discreto ou contínuo , o processo é geralmente chamado de uma cadeia .

Se um processo estocástico possui propriedade Markov , independentemente da natureza do parâmetro de tempo (discreto ou contínuo) e do espaço de estado (discreto ou contínuo) , então ele é chamado de processo de Markov . Portanto, teremos quatro categorias de processos de Markov.

A continuous time parameter,discrete state space processo estocástico possuindo Markov propriedade é chamada de parâmetro contínuo Markov cadeia (CTMC) .

A discrete time parameter,discrete state space processo estocástico possuindo Markov propriedade é chamada um parâmetro discreta cadeia de Markov (DTMC) .

Da mesma forma, podemos ter outros dois processos de Markov.

Atualização 2017-03-09:

Every independent increment process is a Markov process.

Poisson process ter a propriedade de incremento independente é uma Markov process parâmetro with time contínuo e o espaço de estado discreto.

Brownian motion processter a propriedade de incremento independente é um processo Markov processcom parâmetro de tempo contínuo e espaço de estado contínuo.

— LVRao
fonte