Um MCMC que cumpre o saldo detalhado produz uma distribuição estacionária?

12

Eu acho que entendo a equação da condição de equilíbrio detalhado, que afirma que, para probabilidade de transição e distribuição estacionária , uma Cadeia de Markov satisfaz um balanço detalhado se $q$ $\pi$

q (x | y) π (y) = q (y | x) π (x),

$q(x|y)\pi(y)=q(y|x)\pi(x),$

isso faz mais sentido para mim se eu o reafirmar como:

\frac{q (x | y)}{q (y | x)} = \frac{π (x)}{π (y)} .

$\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}.$

Basicamente, a probabilidade de transição do estado para o estado deve ser proporcional à razão de suas densidades de probabilidade. $x$ $y$

probability mcmc markov-process

— Mike Flynn
fonte

10

Não é verdade que o MCMC que cumpre o equilíbrio detalhado sempre produz a distribuição estacionária. Você também precisa que o processo seja ergódico . Vamos ver o porquê:

Considere como um estado do conjunto de todos os estados possíveis e identifique-o pelo índice . Em um processo de markov, uma distribuição evolui de acordo com $x$ $i$ $p_t(i)$

p_{t} (i) = \sum_{j} Ω_{j \to i} p_{t - 1} (j)

$p_t(i) = \sum_{j} \Omega_{j \rightarrow i} p_{t-1}(j)$

onde é a matriz que indica as probabilidades de transição (seu ). $\Omega_{j \rightarrow i}$ $q(x|y)$

Então, nós temos isso

p_{t} (i) = \sum_{j} (Ω_{j \to i})^{t} p_{0} (j)

$p_t(i) = \sum_{j} (\Omega_{j \rightarrow i})^t p_{0}(j)$

O fato de que é uma probabilidade de transição implica que seus autovalores devem pertencer ao intervalo [0,1]. $\Omega_{j \rightarrow i}$

Para garantir que qualquer distribuição inicial converja para a assintótica, você deve garantir que $p_{0}(j)$

1 Existe apenas um valor próprio de com o valor 1 e ele possui um vetor próprio diferente de zero. $\Omega$

Para garantir que seja a distribuição assintótica, você precisa garantir que $\pi$

2 O vetor próprio associado ao valor próprio 1 é . $\pi$

A ergodicidade implica 1., o equilíbrio detalhado implica 2., e é por isso que ambos formam uma condição necessária e suficiente de convergência assintótica.

Por que o equilíbrio detalhado implica 2:

Começando de

p (i) Ω_{i j} = Ω_{j i} p (j)

$p(i)\Omega_{ij} = \Omega_{ji} p(j)$

e somando em ambos os lados, obtemos $j$

p (i) = \sum_{j} Ω_{j i} p (j)

$p(i) = \sum_{j}\Omega_{ji} p(j)$

porque , pois você sempre transita para algum lugar. $\sum_{j} \Omega_{ij} = 1$

A equação acima é a definição do autovalor 1 (é mais fácil ver se você o escreve em forma vetorial :)

1. v = Ω \cdot v

$1.v = \Omega\cdot v$

— Jorge Leitao
fonte

O OP não pergunta se é único ou não. Ele pergunta como o MCMC com equilíbrio detalhado é suficiente para produzir uma densidade de probabilidade invariável.

— precisa

1

A primeira frase desta resposta é "Não é verdade que o MCMC que cumpre um equilíbrio detalhado sempre produz a distribuição estacionária". Portanto, não, o equilíbrio detalhado não é suficiente para produzir uma densidade invariável ... Como isso não responde à pergunta?

— Jorge Leitao

0

Eu acho que sim, porque para um MC irredutível, se o equilíbrio detalhado for satisfeito, ele terá uma distribuição estacionária única, mas para que seja independente da distribuição inicial, também precisará ser periódico.

No caso do MCMC, partimos de um ponto de dados e, em seguida, propomos um novo ponto. Podemos ou não avançar para o ponto proposto, ou seja, temos um auto loop que torna um MC irredutível aperiódico.

Agora, em virtude da satisfação do DB, ele também possui estados recorrentes positivos, ou seja, o tempo médio de retorno aos estados é finito. Portanto, a cadeia que construímos no MCMC é irredutível, periódica e recorrente positiva, o que significa que é uma cadeia ergódica.

Sabemos que, para uma cadeia ergódica irredutível, existe uma distribuição estacionária única e independente da distribuição inicial.

— Siddharth Shakya
fonte