Dadas duas cadeias de Markov absorventes, qual é a probabilidade de uma terminar antes da outra?

Eu tenho duas cadeias de Markov diferentes, cada uma com um estado de absorção e uma posição inicial conhecida. Quero determinar a probabilidade de que a cadeia 1 atinja um estado de absorção em menos etapas que a cadeia 2.

Acho que posso calcular a probabilidade de atingir um estado de absorção em uma cadeia específica após n etapas: dada uma matriz de transição a probabilidade de ser absorvida após etapas é onde é o estado inicial e é o estado absorvente. $P$ $n$ $P^n_{ij}$ $i$ $j$

Eu não tenho certeza para onde ir daqui embora. Problemas análogos que eu já vi envolvem dados (por exemplo, rolar uma soma de 7 antes de uma soma de 8), mas isso é mais fácil de resolver, porque a probabilidade de rolar uma soma específica é constante e independente do número de etapas realizadas até agora.

probability markov-chain transition-matrix

— Jeff
fonte

Passe as correntes em paralelo. Defina três estados de absorção na cadeia de produtos resultante:

A primeira cadeia atinge um estado absorvente, mas a segunda não.
A segunda cadeia atinge um estado absorvente, mas a primeira não.
Ambas as cadeias atingem simultaneamente um estado de absorção.

As probabilidades limitantes desses três estados na cadeia de produtos dão as chances de interesse.

Esta solução envolve algumas construções (simples). Como no questão, deixe ser uma matriz de transição para uma cadeia . Quando a cadeia está no estado , fornece a probabilidade de uma transição para o estado . Um estado absorvente faz uma transição para si mesmo com probabilidade . $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

Qualquer estado pode ser absorvido ao substituir a linha por um vetor indicador com na posição . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Qualquer conjunto de estados absorventes pode ser mesclado criando uma nova cadeia de cujos estados são $A$ $\mathcal{P}/A$ . A matriz de transição é dada por $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / UMA)_{Eu j} = \begin{array}{ll} {\begin{cases} P_{Eu j} & Eu \notin UMA, j \notin UMA \\ \sum_{k \in UMA} P_{Eu k} & Eu \notin UMA, j = UMA \\ 0 0 & Eu = UMA, j \notin UMA \\ 1 1 & Eu = j = UMA . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Isso equivale a somar as colunas de correspondentes a e substituir as linhas correspondentes a por uma única linha que faz uma transição para si mesma. $\mathbb{P}$ $A$ $A$
O produto de duas cadeias nos estados e nos estados , com matrizes de transição e , respectivamente, é uma cadeia de Markov nos estados $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ com matriz de transição $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(Eu, j), (k, eu)} = P_{Eu k} Q_{j eu} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Com efeito, a cadeia de produtos executa as duas cadeias em paralelo, rastreando separadamente onde cada uma está e fazendo transições independentemente.

Um exemplo simples pode esclarecer essas construções. Suponha que Polly esteja jogando uma moeda com uma chance de cabeças de aterrissagem. Ela planeja fazer isso até observar uma cabeça. Os estados para o processo de troca de moedas são representando os resultados do lançamento mais recente: para coroa, para cabeça. Ao planejar parar na frente, Polly aplicará a primeira construção, tornando um estado absorvente. A matriz de transição resultante é $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 1 - p & p \\ 0 0 & 1 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Começa em um estado aleatório dado pelo primeiro lançamento. $(1-p,p)$

A par de Polly, Quincy jogará uma moeda justa. Ele planeja parar quando vê duas cabeças seguidas. Sua cadeia de Markov, portanto, precisa acompanhar o resultado anterior, bem como o resultado atual. Existem quatro combinações de duas caras e duas caudas, que abreviarei como " ", por exemplo, onde a primeira letra é o resultado anterior e a segunda letra é o resultado atual . Quincy aplica a construção (1) para fazer da um estado absorvente. Depois de fazer isso, ele percebe que não precisa realmente de quatro estados: ele pode simplificar sua cadeia para três estados: significa que o resultado atual é coroa, significa que o resultado atual é cara e $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ significa que os dois últimos resultados foram de ambas as cabeças - este é o estado de absorção. A matriz de transição é

Q = (\begin{matrix} \frac{1 1}{2} & \frac{1 1}{2} & 0 0 \\ \frac{1 1}{2} & 0 0 & \frac{1 1}{2} \\ 0 0 & 0 0 & 1 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

A cadeia de produtos funciona em seis estados: . A matriz de transição é umproduto tensorialde e e é facilmente calculada. Por exemplo, $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ , é a possibilidade de que Polly faz uma transição deparae, ao mesmo tempo (e de forma independente), Quincy faz uma transição depara. O primeiro tem uma possibilidade dee o último a oportunidade de. Como as cadeias são executadas de forma independente, essas chances se multiplicam, resultando em. A matriz de transição completa é $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P \otimes Q = (\begin{matrix} \frac{1 1 - p}{2} & \frac{1 1 - p}{2} & 0 0 & \frac{p}{2} & \frac{p}{2} & 0 0 \\ \frac{1 1 - p}{2} & 0 0 & \frac{1 1 - p}{2} & \frac{p}{2} & 0 0 & \frac{p}{2} \\ 0 0 & 0 0 & 1 1 - p & 0 0 & 0 0 & p \\ 0 0 & 0 0 & 0 0 & \frac{1 1}{2} & \frac{1 1}{2} & 0 0 \\ 0 0 & 0 0 & 0 0 & \frac{1 1}{2} & 0 0 & \frac{1 1}{2} \\ 0 0 & 0 0 & 0 0 & 0 0 & 0 0 & 1 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

Está na forma de matriz de blocos com blocos correspondentes à segunda matriz : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly e Quincy competem para ver quem alcançará seu objetivo primeiro. O vencedor será Polly sempre que uma transição for feita para onde ambos absorvem (via construção (1)) e depois os mesclam (via construção (2)). A matriz de transição resultante, ordenada pelos estados $(\text{H},\text{*})$ não é ; o vencedor será Quincy sempre que uma transição for feita para ; e se antes que qualquer um desses itens possa ocorrer uma transição para , o resultado será um empate. Para acompanhar, criaremos os estados e $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ é $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R = (\begin{matrix} \frac{1 1 - p}{2} & \frac{1 1 - p}{2} & 0 0 & p & 0 0 \\ \frac{1 1 - p}{2} & 0 0 & \frac{1 1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 0 & 0 0 & 1 1 & 0 0 & 0 0 \\ 0 0 & 0 0 & 0 0 & 1 1 & 0 0 \\ 0 0 & 0 0 & 0 0 & 0 0 & 1 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

Os resultados do primeiro arremesso simultâneo de Polly e Quincy serão os estados com probabilidades $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ , respectivamente: este é o estado inicial no qual iniciar a cadeia. $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

No limite como , $n\to \infty$

μ \cdot R^{n} \to \frac{1 1}{1 1 + 4 p - p^{2}} (0 0, 0 0, (1 1 - p)^{2}, p (5 - p), p (1 1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

Assim, as chances relativas dos três estados absorventes (representando Quincy vence, Polly vence, eles empatam) são $(T,X), \{(H,T), (H,H)\}, (H,X)$ . $(1-p)^2:p(5-p):p(1-p)$

Figura

$p$

— whuber
fonte

Exemplo muito elegante, obrigado por isso. Ainda estou trabalhando nos detalhes para vê-los por mim mesmo. Apenas uma pergunta: aqui assumimos que os dois eventos (arremessos de Polly e Quincy) estavam acontecendo simultaneamente, que diferença faria se os tornássemos sequenciais ou até escolhêssemos aleatoriamente cada vez que jogaria o próximo?

— precisa saber é o seguinte

@ user929304 Você obteria respostas diferentes, possivelmente substancialmente. Por exemplo, suponha que P e Q estejam executando uma cadeia na qual os estados são particionados nos subconjuntos A e B, em que todas as transições de A vão para B e todas de B vão para A. Deixe P e Q começarem nos estados de A. na cadeia de produtos, ambas alternam simultaneamente entre A e B, mas as cadeias seqüencial e de escolha aleatória quebram esse padrão invariável.

— whuber