Combinando várias cadeias MCMC paralelas em uma cadeia mais longa

Digamos que alguém tenha executado cadeias MCMC paralelas em que cada cadeia sofreu queimadura. Deixe as cadeias resultantes serem indicadas por que é o comprimento de cada cadeia após queimar. $m$

x_{1}^{(i)}, \dots, x_{N}^{(i)} for i = 1, \dots, m,

$x_1^{(i)},\dots,x_N^{(i)} \quad \text{ for } i=1,\dots,m,$

N

$N$

Se alguém quiser combinar essas cadeias em uma cadeia longa, é tão simples quanto concatená-las como

x_{1}^{(1)}, \dots, x_{N}^{(1)}, \dots, x_{1}^{(m)}, \dots, x_{N}^{(m)} ?

$x_1^{(1)},\dots,x_N^{(1)},\dots, x_1^{(m)},\dots, x_N^{(m)} ?$

No meu caso, cada é um parâmetro . Meu objetivo é amostrar a partir do posterior onde são os dados. A razão pela qual estou interessado em cadeias paralelas é porque elas são necessárias para calcular o fator de redução de escala potencial (PSRF). $x_i$ $\theta_i$

p (θ ∣ y),

$p(\theta \mid y),$

y

$y$

mcmc parallel-computing

— Lotus3000
fonte

Observe que cadeias individuais têm dependência serial; os valores de cadeias separadas não funcionam; portanto, se você quiser que ela pareça uma cadeia longa, apenas concatená-los não pareceria correto.

No entanto, se você estiver interessado apenas na distribuição, o pedido na cadeia é irrelevante. Na verdade, você não procura concatenar as cadeias para isso, simplesmente deseja agrupar todas as informações de distribuição (trate-as como uma grande amostra). Certamente, se todas as cadeias forem convergidas para sua distribuição estacionária, todas serão amostras da mesma distribuição - você pode combiná-las.

De fato, algumas pessoas passam por um período de desgaste e apenas extraem um valor único de muitas cadeias separadas.

(Manter as execuções separadas pode ajudar a julgar se elas realmente convergiram.)

Se você está computando a variação que é responsável pela estrutura de dependência, no entanto, deve basear-se no fato de que as diferentes execuções são independentes, mas os valores de dentro da mesma execução são dependentes.

— Glen_b -Reinstate Monica
fonte

Por exemplo, se eu gostaria de encontrar uma estimativa do meu vetor de parâmetros, poderia simplesmente calculá-lo como

\hat{θ} = \frac{\sum_{i = 1}^{m} \sum_{j = 1}^{N} θ_{j}^{(i)}}{n m} ?

$\hat{\theta} = \frac{ \sum_{i=1}^m \sum_{j=1}^N \theta_j^{(i)}}{nm}?$

— Lotus3000

Sim. É apenas a variação que é (um pouco) complicada.

— Glen_b -Reinstate Monica

Isso é Gibbs ou algo mais?

— Glen_b -Reinstate Monica

Metropolis-Hastings

— Lotus3000

Oh, ok, não tem problema. Eu apenas sugeriria um estimador diferente se fosse Gibbs.

— Glen_b -instala Monica