Qual é a diferença entre distribuições "limitadoras" e "estacionárias"?

Estou fazendo uma pergunta sobre cadeias de Markov e as duas últimas partes dizem o seguinte:

• Essa cadeia de Markov possui uma distribuição limitadora. Se sua resposta for "sim", encontre a distribuição limitadora. Se sua resposta for "não", explique o motivo.
• Essa cadeia de Markov possui uma distribuição estacionária. Se sua resposta for "sim", encontre a distribuição estacionária. Se sua resposta for "não", explique o motivo.

Qual é a diferença? Anteriormente, eu pensei que a distribuição limitadora era quando você trabalha usando $P = CA^n C^{-1}$ mas esta é a matriz de transição do 'ésimo passo. Eles calcularam a distribuição limitadora usando , que eu pensei que fosse a distribuição estacionária.$n$$\Pi = \Pi P$

Qual é qual então?

De uma introdução à modelagem estocástica de Pinsky e Karlin (2011):

Uma distribuição limitadora, quando existe, é sempre uma distribuição estacionária, mas o inverso não é verdadeiro. Pode haver uma distribuição estacionária, mas nenhuma distribuição limitadora. Por exemplo, não há distribuição limitadora para a cadeia periódica de Markov cuja matriz de probabilidade de transição é mas π = (

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ é uma distribuição estacionária, pois ($\pi=\left(\frac{1}{2},\frac{1}{2}\right)$(p. 205). $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

Em uma seção anterior, eles já haviam definido uma " distribuição de probabilidade limitadora " por$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

e equivalentemente

(p. 165).

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$

O exemplo acima oscila deterministicamente e, portanto, falha em ter um limite da mesma maneira que a sequência falha em ter um limite.$\{1,0,1,0,1,\dots\}$

---

Eles afirmam que uma cadeia de Markov regular (na qual todas as probabilidades de transição em n etapas são positivas) sempre tem uma distribuição limitadora e provam que deve ser a solução não-negativa única para

(p. 168)

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$

Em seguida, na mesma página do exemplo, eles escrevem

Qualquer conjunto satisfazendo (4,27) é chamado uma distribuição de probabilidades estacionárias da cadeia de Markov. O termo "estacionário" deriva da propriedade que uma cadeia de Markov iniciada de acordo com uma distribuição estacionária seguirá essa distribuição em todos os momentos. Formalmente, se Pr { X 0 = i } = π i , então Pr { X n = i } = π i para todos n = 1 , 2 $(\pi_i)_{i=0}^{\infty}$$\operatorname{Pr}\{X_0=i\}=\pi_i$$\operatorname{Pr}\{X_n=i\}=\pi_i$ .$n=1,2,\dots$

onde (4.27) é o conjunto de equações

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

que é precisamente a mesma condição de estacionariedade acima, exceto agora com um número infinito de estados.

Com esta definição de estacionariedade, a declaração na página 168 pode ser retroativamente atualizada como:

1. A distribuição limitadora de uma cadeia regular de Markov é uma distribuição estacionária.
2. Se a distribuição limitadora de uma cadeia de Markov é uma distribuição estacionária, a distribuição estacionária é única.

$\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ independent of $\pi^{(0)}$. For example, let us consider a Markov chain whose two states are the sides of a coin, $\{heads, tails\}$. Each step consists of turning the coin upside down (with probability 1). Note that when we compute the state distributions, they are not conditional on previous steps, i.e., the guy who computes the probabilities does not see the coin. So, the transition matrix is $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ If we first initialize the coin by flipping it randomly ($\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$), then also all subsequent time steps follow this distribution. (If you flip a fair coin, and then turn it upside down, the probability of heads is still $0.5$). Thus, $\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ is a stationary distribution for this Markov chain.

However, this chain does not have a limiting distribution: suppose we initialize the coin so that it is heads with probability $2/3$. Then, as all subsequent states are determined by the initial state, after an even number of steps, the state is heads with probability $2/3$ and after an odd number of steps the state is heads with probability $1/3$. This holds no matter how many steps are taken, thus the distribution over states has no limit.

Now, let us modify the process so that at each step, one does not necessarily turn the coin. Instead, one throws a die, and if the result is $6$, the coin is left as is. This Markov chain has transition matrix

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ Without going over the math, I will point out that this process will 'forget' the initial state due to randomly omitting the turn. After a huge amount of steps, the probability of heads will be close to $0.5$, even if we know how the coin was initialized. Thus, this chain has the limiting distribution $\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$.

Putting notation aside, the word "stationary" means "once you get there, you will stay there"; while the word "limiting" implies "you will eventually get there if you go far enough". Just thought this might be helpful.