Atualização bayesiana - exemplo de lançamento de moeda

Eu tenho uma pergunta sobre a atualização bayesiana. Em geral, a atualização bayesiana refere-se ao processo de obter o posterior de uma distribuição anterior de crenças.

Alternativamente, pode-se entender o termo usando a parte posterior do primeiro passo como entrada anterior para cálculos adicionais.

A seguir, é apresentado um exemplo simples de cálculo. O método a é o cálculo padrão. O método b usa a saída posterior como entrada antes para calcular o próximo posterior.

Usando o método a, obtemos P (F | HH) = 0,2. Usando o método b, obtém-se P (F | HH) = 0,05. Minha pergunta é até que ponto o método b é uma abordagem válida?

---

Problema: Você joga uma moeda duas vezes e ganha 2 cabeças. Qual é a probabilidade de a moeda ser justa, ou seja,$Pr(Fair\ coin| HH)$?

Agora, para o primeiro sorteio: $Pr(Fair\ coin| H) = \frac{Pr(Head|Fair)\cdot P(Fair)}{Pr(Head|Fair) \cdot P(Fair)+Pr(Head|Biased) \cdot P(Biased)} = \frac{Pr(H|F)\cdot P(F)}{P(H)} \quad\quad (1)$

Supondo que a crença anterior inicial P (Justa) = 0,5, queira encontrar P (F | H) para o primeiro sorteio

Abaixo está o cálculo para as etapas intermediárias:

$P(H|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {1 \choose 1} 0.5^{1}(0.5)^{0}= 0.5$

$P(H)= P(H|F) \cdot P(F)+ P(H|Biased) \cdot P(Biased)=(0.5 \cdot 0.5) +(1 \cdot 0.5) = 0.75$

(Nota: P (H | tendencioso) = 1 porque, assumindo um exemplo extremo com as cabeças nos dois lados da moeda, a probabilidade de obter cabeças com uma moeda tendenciosa = 1 (facilita o cálculo))

Portanto, conectando-se a (1), obtemos:

$Pr(F| H) =\frac{Pr(H|F)\cdot P(F)}{P(H)} = \frac{0.5 \cdot 0.5}{0.75} = 0.33$

---

Agora, jogamos a moeda novamente e obtemos outro H. Para calcular , nós$Pr(F| HH)$

a) continue usando P (razoável) = 0,5

$Pr(F|HH) = \frac{Pr(HH|F)\cdot P(F)}{Pr(HH|F) \cdot P(F)+Pr(HH|Biased) \cdot P(Biased)} = \frac{Pr(HH|F)\cdot P(F)}{P(HH)} \quad\quad (2)$

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.5^{2}(0.5)^{0}= 0.25$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.25 \cdot 0.5) +(1 \cdot 0.5) = 0.625$

Portanto, conectando-se a (2), $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.25 \cdot 0.5}{0.625} = 0.2$

---

Como alternativa, e se calcularmos usando$Pr(F| HH)$

b) nossa crença atualizada P (Justo) = 0,33 que obtivemos de Pr (F | H) no primeiro passo

Nesse caso,

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.33^{2}(1-0.33)^{0}= 0.1089$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.1089 \cdot 0.33) +(1 \cdot 0.67) = 0.705937$

Portanto, conectando-se a (2), $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.1089 \cdot 0.33}{0.705937} = 0.05091$

---

Usando o método a, obtemos P (F | HH) = 0,2. Usando o método b, obtém-se P (F | HH) = 0,05. Minha pergunta é até que ponto o método b é uma abordagem válida?

Sua abordagem b) está errada: a atualização de etapa única , na qual todos os dados são usados ​​juntos para atualizar o anterior e chegar ao posterior, e a atualização seqüencial bayesiana (também chamada de recursiva ) , na qual os dados são usados ​​um de cada vez. para obter um posterior que se torna o anterior da iteração sucessiva, deve fornecer exatamente o mesmo resultado. Este é um dos pilares da estatística bayesiana: consistência .

Seu erro é simples: depois de atualizar o anterior com a primeira amostra (o primeiro "cabeçalho"), você terá apenas uma amostra restante para incluir na sua probabilidade, a fim de atualizar o novo anterior. Nas fórmulas:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

Essa fórmula é apenas o teorema de Bayes, aplicado após o primeiro evento "Head" já ter acontecido: como as probabilidades condicionais são probabilidades, o teorema de Bayes também é válido para probabilidades condicionadas ao evento "Head", e não há mais nada a provar realmente . No entanto, descobri que algumas vezes as pessoas não acham esse resultado evidente, portanto, dou uma prova um pouco demorada.

$$P(F|HH) =\frac{P(HH|F)P(F)}{P(HH)}= \frac{P(H|H,F)P(H|F)P(F)}{P(HH)}$$

pela regra da cadeia de probabilidades condicionais. Então, multiplicando o numerador e o denominador por , você obtém$P(H)$

$$\frac{P(H|H,F)P(H|F)P(F)}{P(HH)}=\frac{P(H|H,F)P(H|F)P(F)P(H)}{P(HH)P(H)}=\frac{P(H|H,F)P(H)}{P(HH)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)}{P(H|H)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

onde no último passo eu apenas apliquei o teorema de Bayes. Agora:

$$P(H|H,F)= P(H|F)=0.5$$

Isso é óbvio: condicionalmente, com a moeda sendo justa (ou tendenciosa), estamos modelando os lançamentos da moeda como iid. Aplicando essa mesma idéia ao denominador, obtemos:

$$P(H|H)= P(H|F,H)P(F|H)+P(H|B,H)P(B|H)=P(H|F)P(F|H)+P(H|B)P(B|H)=0.5\cdot0.\bar{3}+1\cdot0.\bar{6}$$

Finalmente:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}=\frac{0.5\cdot0.\bar{3}}{0.5\cdot0.\bar{3}+1\cdot0.\bar{6}}=0.2$$

QED

---

É isso: divirta-se usando a atualização sequencial bayesiana, é muito útil em muitas situações! Se você quiser saber mais, existem muitos recursos na Internet: isso é muito bom.