De onde vêm os condicionais completos na amostragem de Gibbs?

Algoritmos MCMC como Metropolis-Hastings e Gibbs são formas de amostragem das distribuições posteriores da articulação.

Eu acho que entendo e posso implementar as pessoas que vivem nas metrópoles com bastante facilidade - você simplesmente escolhe os pontos de partida de alguma forma e 'percorre o espaço dos parâmetros' aleatoriamente, guiado pela densidade posterior e pela densidade da proposta. A amostragem de Gibbs parece muito semelhante, mas mais eficiente, pois atualiza apenas um parâmetro de cada vez, mantendo os outros constantes, efetivamente percorrendo o espaço de forma ortogonal.

Para fazer isso, você precisa do condicional completo de cada parâmetro em analítico a partir de *. Mas de onde vêm esses condicionais completos?

P (x_{1} | x_{2}, ..., x_{n}) = \frac{P (x_{1}, ..., x_{n})}{P (x_{2}, ..., x_{n})}

$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$ Para obter o denominador, você precisa marginalizar a junta sobre

x_{1}

$x_1$ . Parece ser muito trabalho analiticamente se houver muitos parâmetros e pode não ser tratável se a distribuição conjunta não for muito "agradável". Sei que se você usar conjugação em todo o modelo, os condicionais completos podem ser fáceis, mas deve haver uma maneira melhor para situações mais gerais.

Todos os exemplos de amostras de Gibbs que eu vi on-line usam exemplos de brinquedos (como amostras de um normal multivariado, onde os condicionais são apenas os normais) e parecem evitar esse problema.

* Ou você precisa dos condicionais completos na forma analítica? Como programas como o winBUGS fazem isso?

bayesian mcmc gibbs

— cespinoza
fonte

A amostragem de Gibbs geralmente é menos eficiente que a Metropolis-Hastings, porque ela tem uma dimensão de cada vez ...

— Xian

Gibbs amostragem é mais eficiente em cada etapa individual, mas pode precisar de um terrível muito mais passos para convergir - e acabam menos eficiente para um bom resultado global.

— Lutz Prechelt 19/03/19

Respostas:

Sim, você está certo, a distribuição condicional precisa ser encontrada analiticamente, mas acho que há muitos exemplos em que a distribuição condicional completa é fácil de encontrar e tem uma forma muito mais simples que a distribuição conjunta.

A intuição para isso é a seguinte, em mais "realista" joint distribuições , mais do 's são geralmente condicionalmente independente da maioria das outras variáveis aleatórias. Ou seja, algumas das variáveis têm $P(X_1,\dots,X_n)$ $X_i$ locais interações, dizer depende de e , mas não interage com tudo, portanto, as distribuições condicionais deve simplificar significativamente como $X_i$ $X_{i-1}$ $X_{i+1}$ $Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

— gabgoh
fonte

P r (X_{i} | X_{i - 1}, X_{i + 1})

$Pr(X_i|X_{i-1},X_{i+1})$

Eles não precisam ser encontrados analiticamente. Todos os condicionais completos são proporcionais à distribuição conjunta, por exemplo. E isso é tudo o que é necessário para Metropolis-Hastings.

— Tristan

@Tristan, é claro. Estou, no entanto, falando sobre amostragem de gibbs.

— gabgoh

Eles não precisam ser encontrados analiticamente para Gibbs Sampling. Você só precisa ser capaz de provar, de alguma forma, a partir do condicional; se você pode escrever como fazer isso em uma declaração bastante analítica não é relevante.

— guest

Na verdade, não há necessidade de um condicional analítico completo: tudo o que é necessário para a amostragem de Gibbs ser implementada é a capacidade de simular a partir dos condicionais completos.

— Xian

Acho que você perdeu a principal vantagem de algoritmos como o de Metropolis-Hastings. Para amostragem de Gibbs, você precisará fazer uma amostra dos condicionais completos. Você está certo, isso raramente é fácil de fazer. A principal vantagem dos algoritmos Metropolis-Hastings é que você ainda pode experimentar um parâmetro de cada vez, mas precisa conhecer apenas os condicionais completos até a proporcionalidade. Isso ocorre porque os denominadores cancelam na função de critérios de aceitação

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

Programas como o WinBugs / Jags normalmente executam Metropolis-Hastings ou etapas de amostragem de fatia que exigem apenas os condicionais até a proporcionalidade. Estes estão facilmente disponíveis no DAG. Dada a conjugação, eles também às vezes tomam passos diretos de Gibbs ou batentes sofisticados.

— Tristan
fonte

Ei, obrigado! Eu acho que esse ponto sobre não precisar da constante normativa para as incursões nas metrópoles é exatamente a informação que eu precisava para entender tudo isso. Penso que, como o GS no WinBUGS significa amostragem de gibbs, tive a impressão de que gibbs substituíam o MH e que o software estava usando gibbs exclusivamente.

— Cspinoza

O termo amostragem de Gibbs é freqüentemente usado para sugerir que você faça uma amostragem de um parâmetro por vez, mesmo se você não usar a idéia original de amostragem diretamente dos condicionais completos. Todo o software faz uma amostra de parâmetros individuais ou blocos de parâmetros em sequência, mas o tipo de etapa real varia muito, dependendo do que funciona melhor.

— Tristan

Quase sempre que você pode implementar Gibbs, você também pode implementar alternativas Metropolis-Hastings. Maior eficiência vem da mistura das duas abordagens.

— Xian

Essa deve ser a resposta aceita.

— NoBackingDown