Como o beta anterior afeta o posterior sob uma probabilidade binomial

Eu tenho duas perguntas,

Pergunta 1: Como posso mostrar que a distribuição posterior é uma distribuição beta se a probabilidade é binomial e a anterior é beta

Pergunta 2: Como as escolhas dos parâmetros anteriores afetam a posterior? Eles não deveriam ser todos iguais?

É possível responder a essas perguntas em R?

Para responder sua primeira pergunta, precisamos apenas usar o Teorema de Bayes para atualizar nossa probabilidade binomial com a versão beta anterior. Para entender melhor como fazer isso, primeiro observe o seguinte resultado onde podemos usar o resultado da proporcionalidade desde a distribuição beta é o conjugado anterior para a probabilidade binomial.

$$p(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)p(\theta)}{\int_{\Theta}p(\mathbf{x}|\theta)p(\theta)d\theta}\propto p(\mathbf{x}|\theta)p(\theta)$$

Agora, deixe e . Agora podemos usar o Teorema de Bayes para calcular o posterior da seguinte forma:θ ∼ Beta ( α , β $x_i\sim\text{Binomial}(N_i,\theta)$$\theta\sim\text{Beta}(\alpha,\beta)$

s=∑ n i = 1 xiN=∑ n i = 1 N

$$\begin{align} p(\theta|\mathbf{x})&\propto p(\mathbf{x}|\theta)p(\theta)\\ &\\ &\propto \binom{N}{x_i}\theta^{s}(1-\theta)^{N-s}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto \theta^{s}(1-\theta)^{N-s}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto\theta^{\alpha+s-1}(1-\theta)^{\beta+N-s-1} \end{align}$$ onde e$s=\sum_{i=1}^nx_i$$N=\sum_{i=1}^nN_i$

Agora, reconhecemos o lado proporcional à direita da equação como o kernel de outra distribuição beta com parâmetros atualizados e

$$\alpha^*=\alpha+\sum_{i=1}^nx_i$$ $$\beta^*=\beta+\sum_{i=1}^nN_i-\sum_{i=1}^nx_i$$

Agora, para a segunda parte do seu problema, considere os seguintes gráficos das partes posteriores, com diferentes distribuições anteriores.

O gráfico acima é composto por cinco distribuições anteriores diferentes:

$$\begin{align*} \text{Prior }1&:\,\,\theta\sim\text{Beta}(.5,.5)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(5,1)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(1,3)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,2)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,5) \end{align*}$$

Agora, embora a distribuição posterior não pareça ser muito alterada pela escolha do prior nessa situação, esse nem sempre é o caso. Por exemplo, se amostrássemos a partir de uma distribuição binomial (no código) onde veríamos que a distribuição posterior é drasticamente alterada pela escolha da distribuição anterior.$N=2$

Aqui está o Rcódigo usado para gerar tudo:

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}