Estatísticas bayesianas anteriores uniformes binomiais

Suponha que tenha uma distribuição binomial em que o anterior do parâmetro seja uniforme. Como posso obter a distribuição posterior do parâmetro?

Isso é muito simples, se você usar uma distribuição anterior que seja conjugada à função de probabilidade binomial. Diz-se que um anterior e uma probabilidade são conjugados quando a distribuição posterior resultante é o mesmo tipo de distribuição que o anterior. Isso significa que, se você tiver dados binomiais, poderá usar um beta antes de obter um beta posterior. Priores conjugados não são necessários para a atualização bayesiana, mas eles facilitam muito os cálculos, portanto, é bom usá-los, se possível.

Um beta anterior possui dois parâmetros de forma que determinam a aparência e é designado Beta (α, β). Tomar seu prior for p (probabilidade de sucesso) como uniforme é equivalente a usar uma distribuição Beta com os dois parâmetros definidos como 1.

Para obter uma posterior, basta usar a regra de Bayes:

Posterior Anterior x Probabilidade$\propto$

O posterior é proporcional à probabilidade multiplicada pelo anterior. O bom de trabalhar com distribuições conjugadas é que a atualização bayesiana é realmente tão simples quanto a álgebra básica. Adotamos a fórmula para a função de probabilidade binomial,

$Binomial Likelihood \propto p^x (1-p)^{n-x}$

onde x é o número de sucessos em n tentativas. e depois multiplique pela fórmula do beta anterior com os parâmetros de forma α e β,

$Beta Prior \propto p^{\alpha-1} (1-p)^{\beta-1}$

para obter a seguinte fórmula para o posterior,

$Beta Posterior \propto p^x(1-p)^{n-x}p^{\alpha-1}(1-p)^{\beta-1}$

Você verá que estamos multiplicando termos com a mesma base, o que significa que os expoentes podem ser somados. Portanto, a fórmula posterior pode ser reescrita como,

$Beta Posterior \propto p^xp^{\alpha-1}(1-p)^{n-x}(1-p)^{\beta-1}$

o que simplifica,

$Beta Posterior \propto p^{x+\alpha-1}(1-p)^{n-x+\beta-1}$

$\alpha$$\beta$$\alpha$$\beta$

Quando você começa com um Beta (1,1) como seu anterior, o posterior terá a forma exata da probabilidade binomial, e o posterior será escrito Beta (1 + x, 1 + nx).

Gráficos

Se você começar com o seu uniforme anterior, Beta (1,1), fica assim:

Se você tiver 13 sucessos em 25 tentativas, o novo posterior é Beta (1 + 13,1 + 12) ou Beta (14,13), mostrado abaixo:

Há código para fazer gráficos como esse e outros no meu blog, aqui .