Como você vê uma cadeia de Markov ser irredutível?

12

Tenho alguns problemas para entender a propriedade da cadeia de Markov irredutível .

Diz-se que irredutível significa que o processo estocástico pode "ir de qualquer estado para qualquer estado".

Mas o que define se ele pode passar do estado para o estado ou não pode ir? $i$ $j$

A página da wikipedia fornece a formalização:

Estado é acessível (escrito ) do estado , se existe inteiro st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

então a comunicação é se e . $i\rightarrow j$ $j \rightarrow i$

A partir destes irredutibilidade segue de alguma forma.

stochastic-processes markov-process

— mavavilj
fonte

Qual é a intuição sobre "acessibilidade"? Não entendo por que ter uma probabilidade condicional torna algo "acessível"?

— mavavilj

Você pode olhar do ponto de inacessibilidade . Diz-se que o estado é inacessível a partir de se não houver chance de chegar lá a partir de , ou seja, para qualquer número de etapas a probabilidade desse evento permanecer . Para definir a acessibilidade, deve-se trocar os quantores, ou seja, to e para (que é o mesmo que , pois a probabilidade é positiva).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— Nerci

12

Aqui estão três exemplos de matrizes de transição, os dois primeiros para o caso redutível, o último para o caso irredutível.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ Para , quando você estiver no estado 3 ou 4, você permanecerá lá e o o mesmo para os estados 1 e 2. Não há como passar do estado 1 para o estado 3 ou 4, por exemplo.

P_{1}

$P_1$

Para , você pode chegar a qualquer estado dos estados 1 a 3, mas quando estiver no estado 4, permanecerá lá. Para isso Por exemplo, você pode iniciar em qualquer estado e ainda pode alcançar qualquer outro estado, embora não necessariamente em uma etapa. $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— Christoph Hanck
fonte

5

Diz-se que o estado é acessível a partir de um estado (geralmente indicado por ) se houver tal que: Ou seja, pode-se ir do estado ao estado em passos com probabilidade . $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

Se ambos e são verdadeiras, então os estados e comunicam (geralmente denotada por ). Portanto, a cadeia de Markov é irredutível se cada dois estados se comunicar. $i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
fonte

O em uma potência ou um índice?

n

$n$

p_{i j}^{n}

$p_{ij}^n$

— mavavilj

É um índice. No entanto, ele tem uma interpretação: se for uma matriz de probabilidade de transição, então é o ésimo elemento de (aqui é uma potência) .

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

— nmerci

2

Seja e dois estados distintos de uma cadeia de Markov. Se houver alguma probabilidade positiva de o processo passar do estado para o estado , seja qual for o número de etapas (digamos 1, 2, 3 ), então dizemos que o estado é acessível a partir do estado . $i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

Notadamente, expressamos isso como . Em termos de probabilidade, é expresso da seguinte forma: um estado é acessível a partir do estado , se existir um número inteiro tal que . $i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

Da mesma forma, dizemos que, , se existe um número inteiro tal que . $j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

Agora, se e são verdadeiros, dizemos que os estados e comunicam entre si e são expressos de forma como . Em termos de probabilidade, isso significa que existem dois inteiros modo que e . $i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Se todos os estados da cadeia de Markov pertencem a uma classe de comunicação fechada , a cadeia é chamada de cadeia de Markov irredutível . A irredutibilidade é uma propriedade da cadeia.

Em uma cadeia de Markov irredutível, o processo pode ir de qualquer estado para qualquer estado , independentemente do número de etapas necessárias.

— LVRao
fonte

1

Algumas das respostas existentes parecem estar incorretas para mim.

Como citado em Processos estocásticos por J. Medhi (página 79, edição 4), uma cadeia de Markov é irredutível se não contiver nenhum subconjunto 'fechado' apropriado que não seja o espaço de estado.

Portanto, se em sua matriz de probabilidade de transição, existe um subconjunto de estados que você não pode 'alcançar' (ou acessar) outros estados além desses, a cadeia de Markov é redutível. Caso contrário, a cadeia de Markov é irredutível.

— Cósmico
fonte

-1

Primeiro, uma palavra de aviso: nunca olhe para uma matriz, a menos que você tenha uma razão séria para fazê-lo: a única em que consigo pensar é procurar dígitos digitados incorretamente ou ler em um livro didático.

$P$ $\exp(P)$ $P$ $P^n$ $n$

Irredutibilidade significa: você pode ir de qualquer estado para qualquer outro estado em um número finito de etapas.

$P_3$

— titus
fonte

11

i

$i$

j

$j$

11

Você realmente precisa perguntar ao seu professor. Ele não vai te comer, você sabe.

— titus

e^{P_{i j}}

$e^{P_{ij}}$

Refiro-me ao exponencial de matriz

— titus