Nos modelos Normal e Binomial, a variação posterior é sempre menor que a variação anterior?

10

Ou que condições garantem isso? Em geral (e não apenas nos modelos normal e binomial), suponho que a principal razão que quebrou essa afirmação é que há inconsistência entre o modelo de amostragem e o anterior, mas o que mais? Estou começando com este tópico, então eu realmente aprecio exemplos fáceis

bayesian variance information-theory

— Ruído vermelho
fonte

9

Como as variações posteriores e anteriores em satisfazem (com denotando a amostra) assumindo que todas as quantidades existem, você pode esperar que a variação posterior seja menor em média (em ). Este é em particular o caso quando a variância posterior é constante em . Mas, como mostra a outra resposta, pode haver realizações da variância posterior maiores, uma vez que o resultado se mantém apenas na expectativa. $\theta$ $X$

var (θ) = E [var (θ | X)] + var (E [θ | X])

$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$

X

$X$

X

$X$

Para citar Andrew Gelman,

Consideramos isso no capítulo 2 da Análise de dados bayesiana , acho que em alguns dos problemas da lição de casa. A resposta curta é que, na expectativa, a variação posterior diminui à medida que você obtém mais informações, mas, dependendo do modelo, em casos específicos, a variação pode aumentar. Para alguns modelos, como normal e binomial, a variação posterior só pode diminuir. Mas considere o modelo t com baixos graus de liberdade (que pode ser interpretado como uma mistura de normais com média comum e diferentes variações). se você observar um valor extremo, isso é evidência de que a variação é alta e, de fato, sua variação posterior pode aumentar.

— Xi'an
fonte

@Xian, você poderia dar uma olhada na minha "resposta", que parece contradizer a sua? Se Gelman e você diz alguma coisa sobre estatística Bayesiana, estou muito mais inclinado a confiar em você do que eu ...

— Christoph Hanck

11

Nenhum conflito entre nossas respostas. Existe até um exercício no BDA que corresponde ao seu exemplo, ou seja, encontre dados que definam a variação posterior Beta maior que a variação anterior.

— Xian

Uma questão interessante de acompanhamento seria: quais são as condições que garantem a convergência da variação para 0 à medida que o tamanho da amostra aumenta.

— Julien

8

Será mais uma pergunta para @ Xi'an do que uma resposta.

V (θ | y) = \frac{α_{1} β_{1}}{(α_{1} + β_{1})^{2} (α_{1} + β_{1} + 1)} = \frac{(α_{0} + k) (n - k + β_{0})}{(α_{0} + n + β_{0})^{2} (α_{0} + n + β_{0} + 1)},

$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$

n

$n$

k

$k$

α_{0}, β_{0}

$\alpha_{0},\beta_0$

V (θ) = \frac{α_{0} β_{0}}{(α_{0} + β_{0})^{2} (α_{0} + β_{0} + 1)}

$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Portanto, este exemplo sugere uma maior variação posterior no modelo binomial.

Obviamente, essa não é a variação posterior esperada. É aí que reside a discrepância?

A figura correspondente é

— Christoph Hanck
fonte

4

Ilustração perfeita. E não há discrepância entre os fatos de que a variação posterior realizada é maior que a variação anterior e que a expectativa é menor.

— Xian

11

Forneci um link para esta resposta como um excelente exemplo do que também estava sendo discutido aqui . Esse resultado (essa variação às vezes aumenta à medida que os dados são coletados) se estende à entropia.

— Don Junik