Confusão relacionada à amostragem de Gibbs

Encontrei este artigo em que diz que na amostra de Gibbs todas as amostras são aceitas. Eu estou um pouco confuso. Como é que, se toda amostra que ela aceita, converge para uma distribuição estacionária?

Em geral, o algoritmo de metrópole é aceito como min (1, p (x *) / p (x)) onde x * é o ponto de amostra. Suponho que x * nos aponta para uma posição em que a densidade é alta, por isso estamos nos movendo para a distribuição de destino. Portanto, suponho que ele se mova para a distribuição de destino após uma queima no período.

No entanto, na amostragem de Gibbs, aceitamos tudo, mesmo que isso nos leve a um lugar diferente, como podemos dizer que ele converge para a distribuição estacionária / alvo

Suponha-se que têm uma distribuição de . Não podemos calcular Z. No algoritmo da metrópole, usamos o termo para incorporar a distribuição mais a constante de normalização Z é cancelada. Então está tudo bem $p(\theta) = c(\theta)/Z$ $c(\theta^{new})/c(\theta^{old})$ $c(\theta)$

Mas na amostragem de Gibbs, onde estamos usando a distribuição $c(\theta)$

Por exemplo, no artigo http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf, é dado

portanto, não temos a distribuição condicional exata para a amostra, apenas temos algo que é diretamente proporcional à distribuição condicional

insira a descrição da imagem aqui

mcmc gibbs metropolis-hastings

— user34790
fonte

O que aconteceria em Metropolis-Hastings se fosse sempre 1?

p (x *) / p (x)

$p(x*)/p(x)$

— Glen_b -Reinstar Monica

Respostas:

Quando usamos o algoritmo Metropolis-Hastings, precisamos calcular uma taxa de aceitação e deixar a variável aleatória então aceitamos a variável aleatória se .

α = min (1, \frac{p (x^{*})}{p (x)})

$\alpha=\min(1,\frac{p(x^*)}{p(x)})$

U \sim Uniform(0,1)

$U\sim\text{Uniform(0,1)}$

U < α

$U<\alpha$

No entanto, na amostragem de Gibbs, sempre exceto a variável aleatória, porque não precisamos calcular a taxa de aceitação (bem, na verdade você faz, mas quando você conecta as coisas, vê que tudo cancela e sua taxa de aceitação é e tão claramente é sempre menor que e, por isso, você está sempre aceitando). No entanto, você também pode pensar intuitivamente onde, na amostragem de Gibbs, você está colhendo amostras dos condicionais completos, que é uma expressão de forma fechada da qual podemos extrair amostras diretamente e, portanto, não há necessidade de rejeitar amostras, como no algoritmo Metropolis-Hastings, onde não sabe como colher amostras (ou geralmente não reconhece a forma de) . Espero que ajude! $\alpha=1$ $U$ $\alpha$ $p(x)$

insira a descrição da imagem aqui

Eu não entendi como tudo cancela. Bem, digamos que temos que amostrar a partir da distribuição de 3 variáveis. Portanto, quando você quis dizer condicionais completos na expressão de forma fechada, você quis dizer p (x1 | x2, x3) p (x2 | x1, x3) ep (x3 | x1, x2). Minha pergunta é que, no caso da amostragem de Gibbs, sabemos a distribuição condicional obtida da distribuição real p da qual queremos amostrar. É isso que você quer dizer. No caso do algoritmo Metropolis, não conhecemos p, mas algo como c tal que p (x) = c (x) / Z ??

p (θ)

$p(\theta)$

— user34790

Suponha que comecemos com valores aleatórios para as variáveis x1, x2 e x3, como podemos dizer que sua distribuição estacionária converge para a necessária. Quais são os critérios para isso?

— user34790

Suponhamos que tem uma distribuição de . Eu não sei Z. Então, como eu ia provar a partir de usando amostragem de Gibbs

p (θ) = c (θ) / Z

$p(\theta) = c(\theta)/Z$

p (θ)

$p(\theta)$

— user34790

Eu adicionei uma prova acima de por que é sempre uma. Para usar a amostragem de Gibbs, você precisa saber quais são os condicionais completos.

A prova de que a taxa de aceitação é igual a 1 como erro de digitação, ou seja, no denominador na parte central e terceira, a expressão para q deve ter z_i prime, para que no final você obtenha P (z_i prime | z_i prime).

Alex

— user60803
fonte