Processo de Markov sobre apenas dependendo do estado anterior

Gostaria apenas que alguém confirmasse meu entendimento ou se estou perdendo alguma coisa.

A definição de um processo de markov diz que o próximo passo depende apenas do estado atual e não do estado passado. Então, digamos que tínhamos um espaço de estado de a, b, c, d e passamos de a-> b-> c-> d. Isso significa que a transição para d poderia depender apenas do fato de estarmos em c.

No entanto, é verdade que você poderia tornar o modelo mais complexo e meio que "contornar" essa limitação? Em outras palavras, se seu espaço de estado fosse agora aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, o que significa que seu novo espaço de estado se tornará o estado anterior combinado com o estado atual, a transição acima seria * a-> ab-> bc-> cd e, portanto, a transição para cd (equivalente no modelo anterior ed) agora é "dependente" de um estado que, se modelado de forma diferente, é um estado anterior (refiro-me a ele como um subestado abaixo).

Estou certo de que alguém pode fazê-lo "depender de estados anteriores (subestado)" (sei tecnicamente que não existe no novo modelo, pois o subestado não é mais um estado real) manter a propriedade markov expandindo o espaço de estado como eu fiz? Assim, poderia-se criar um processo de markov que poderia depender de qualquer número de sub-estados anteriores.

Tecnicamente, os dois processos que você descreve são cadeias de markov. A diferença é que o primeiro é uma cadeia de markov de primeira ordem, enquanto o segundo é uma cadeia de markov de segunda ordem. E sim, você pode transformar uma cadeia de markov de segunda ordem em uma cadeia de markov de primeira ordem por uma alteração adequada na definição do espaço de estados. Deixe-me explicar através de um exemplo.

Suponha que desejemos modelar o clima como um processo estocástico e suponha que em qualquer dia o tempo possa estar chuvoso, ensolarado ou nublado. Vamos ser o tempo em qualquer dia particular e vamos designar os estados possíveis pelo símbolos R (para chuvoso), S para (sol) e C (por turvo).$W_t$$R$$S$$C$

Cadeia de Markov de primeira ordem

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Cadeia de Markov de Segunda Ordem

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

A cadeia de markov de segunda ordem pode ser transformada em uma cadeia de markov de primeira ordem, redefinindo o espaço de estados da seguinte forma. Definir:

como o clima em dois dias consecutivos.$Z_{t-1,t}$

Em outras palavras, o espaço de estado pode tomar um dos seguintes valores: , R C , R S , C R , C C , C S , S R , S C e S S . Com esse espaço de estado redefinido, temos o seguinte:$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

A descrição acima é claramente uma cadeia de markov de primeira ordem no espaço de estado redefinido. A única diferença da cadeia markov de segunda ordem é que sua cadeia markov redefinida precisa ser especificada com dois estados iniciais iniciais, ou seja, a cadeia deve ser iniciada com algumas suposições sobre o clima no dia 1 e no dia 2.

A definição de um processo de markov diz que o próximo passo depende apenas do estado atual e não do estado passado.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Você pode dar uma olhada em artigos recentes, como cadeias de Markov multivariadas de ordem superior e suas aplicações, pois esse campo está avançando silenciosamente rapidamente.