Os condicionais completos podem determinar a distribuição conjunta?

Ouvi dizer que todos os condicionais completos (usados na amostragem de Gibbs) podem determinar a distribuição conjunta. Mas não entendo por que e como. Ou ouvi mal? Obrigado!

distributions

— Tim
fonte

Essa questão aparentemente simples é mais profunda do que parece, levando-nos até o teorema de Hammersley-Clifford. O fato de podermos recuperar a distribuição conjunta dos condicionais completos é o que torna possível o amostrador de Gibbs. Pode ser visto como um resultado surpreendente, se lembrarmos que os marginais não determinam a distribuição conjunta.

Vamos ver o que acontece se computarmos formalmente com as definições conhecidas das densidades conjunta, condicional e marginal. Como temos

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

e podemos recuperar formalmente a densidade da junta a partir dos condicionais completos, produzindo

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1 1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

O problema com esse cálculo formal é que ele supõe que todos os objetos envolvidos existem.

X ∣ Y = y \sim Exp (y) e Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

"Distribuições condicionais compatíveis", Barry C. Arnold e S. James Press, Jornal da American Statistical Association, vol. 84, No. 405 (1989), pp. 152-156.

Por fim, leia a discussão sobre o teorema de Hammersley-Clifford no livro de Robert e Casella

— zen
fonte

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

Atualmente, estou lutando com o mesmo problema. Estou um pouco confuso com a necessidade de distribuições condicionais compatíveis, pois elas nunca são mencionadas em nenhuma (pelo menos as que eu li) introduções ao Gibbs Sampling. Ou a necessidade de distribuições condicionais compatíveis somente é válida se alguém tentar recuperar formalmente as distribuições conjuntas, por exemplo, por (*). -> não se aproximando da distribuição conjunta por Gibbs Sampling?

— sklingel

Em uma configuração de amostragem regular de Gibbs aplicada a um problema estatístico, você assume que a distribuição de probabilidade conjunta (posterior) existe, portanto, que os condicionais completos derivados dessa distribuição conjunta são compatíveis. Fora deste caso, a amostragem de Gibbs não tem sentido.

— Xi'an