Por que a parametrização média redundante acelera o Gibbs MCMC?

No livro de Gelman & Hill (2007) (Análise de dados usando regressão e modelos multiníveis / hierárquicos), os autores afirmam que a inclusão de parâmetros médios redundantes pode ajudar a acelerar o MCMC.

O exemplo dado é um modelo não aninhado de "simulador de vôo" (Eq 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

Eles recomendam uma reparameterização, adicionando os parâmetros médios e seguinte maneira: $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

A única justificativa oferecida é que (p. 420):

É possível que as simulações fiquem presas em uma configuração em que todo o vetor (ou ) esteja longe de zero (mesmo que eles tenham uma distribuição com média 0). Por fim, as simulações convergirão para a distribuição correta, mas não queremos esperar. $\gamma$ $\delta$

Como os parâmetros médios redundantes ajudam com esse problema?

Parece-me que o modelo não aninhado é lento principalmente porque e estão negativamente correlacionados. (De fato, se um sobe, o outro deve cair, dado que sua soma é "fixada" pelos dados). Os parâmetros médios redundantes ajudam a reduzir a correlação entre e , ou algo completamente diferente? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Heisenberg
fonte

Você está procurando informações intuitivas sobre esse problema específico (por exemplo, se é a correlação - ou as correlações

γ

$\gamma$

δ

$\delta$

), ou está procurando informações intuitivas sobre o problema geral (ou seja, o conceito centralização hierárquica)? Neste último caso, você desejaria uma intuição próxima de uma prova ou intuição muito mais solta e que mostre mais ou menos como ela funciona?

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Sextus Empiricus

Eu gostaria de uma visão intuitiva sobre o conceito de centralização hierárquica em geral (já que o caso específico da pergunta é diretamente uma aplicação da centralização hierárquica). O ponto principal sobre o qual eu quero entender é: por que a centralização hierárquica funciona se a variação no nível do grupo é uma parte considerável da variação total ? O artigo de Gelfand et al. prova isso matematicamente (ou seja, derivar a correlação e encontrar seu comportamento limitador), mas sem nenhuma explicação intuitiva.

— Heisenberg

$\mu$ $\gamma_j$ $\delta_k$

$\gamma_j$ $\delta_k$ $\mu$

Veja uma descrição muito clara na seção 25.1 'O que é centralização hierárquica?' no livro (disponível gratuitamente) 'Estimativa do MCMC em MLwiN' por William J. Browne e outros. http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
fonte

A Seção 25.1 da 'Estimativa MCMC MlwiN' descreve essa técnica de "centralização hierárquica", mas não detalha mais detalhes do que afirmar que funciona. Escavação através de suas referências, descobri que a prova real desta técnica é apresentada no artigo parametrizações eficientes para modelos lineares mistos normais , por Gelfand et ai, Biometrika 82 vol questão 3.

— Heisenberg

O artigo acima, por sua vez, utiliza propriedades da distribuição normal sem explicar. Encontrei provas dessas propriedades na análise Bayesiana Conjugada da distribuição Gaussiana por Kevin Murphy.

— Heisenberg

Infelizmente, ainda não vi uma explicação intuitiva do porquê dessa técnica funcionar.

— Heisenberg

É tarde, mas acho que esse papel pode ser o que você está procurando

— baruuum