Com que probabilidade uma moeda é melhor que a outra?

Digamos que temos duas moedas tendenciosas C1e C2ambas têm probabilidade diferente de virar a cabeça.

Nós jogamos C1 n1tempos e temos H1cabeças, C2 n2tempos e H2cabeças. E descobrimos que a proporção de cabeças para uma moeda é maior que a outra.

Qual é a probabilidade com que podemos dizer que uma moeda é melhor que a outra? (melhor aqui significa maior probabilidade real de virar a cabeça).

É fácil calcular a probabilidade de fazer essa observação, dado o fato de as duas moedas serem iguais. Isso pode ser feito pelo teste exato de Fishers . Dadas estas observações

$$\begin{array} {r|c|c} &\text{coin }1 &\text{coin }2 \\ \hline \text{heads} &H_1 &H_2\\ \hline \text{tails} &n_1-H_1 &n_2-H_2\\\end{array}$$

a probabilidade de observar esses números enquanto as moedas são iguais, dado o número de tentativas , e a quantidade total de cabeças é $n_1$$n_2$$H_1+H_2$

$$p(H_1, H_2|n_1, n_2, H_1+H_2) = \frac{(H_1+H_2)!(n_1+n_2-H_1-H_2)!n_1!n_2!}{H_1!H_2!(n_1-H_1)!(n_2-H_2)!(n_1+n_2)!}.$$

Mas o que você está pedindo é a probabilidade de que uma moeda seja melhor. Uma vez que discutimos sobre a crença em como as moedas são tendenciosas, temos que usar uma abordagem bayesiana para calcular o resultado. Observe que, na inferência bayesiana, o termo crença é modelado como probabilidade e os dois termos são usados ​​de forma intercambiável (s. Probabilidade bayesiana ). Chamamos a probabilidade de que a moeda jogue cabeças . A distribuição posterior após a observação, para este é dada por Bayes Teorema : A função densidade de probabilidade (pdf)$i$$p_i$$p_i$ f ( p i | H i , n i ) = f ( H i | p i , n i ) f ( p i )

$$f(p_i|H_i,n_i)= \frac{f(H_i|p_i,n_i)f(p_i)}{f(n_i,H_i)}$$ $f(H_i|p_i,n_i)$é dada pela probabilidade binomial, já que as tentativas individuais são experimentos de Bernoulli: eu assumir o conhecimento prévio sobre é que pode estar em qualquer lugar entre e com igual probabilidade, portanto, . Portanto, o nominador é . $$f(H_i|p_i,n_i) = \binom{n_i}{H_i}p_i^{H_i}(1-p_i)^{n_i-H_i}$$ $f(p_i)$$p_i$$0$$1$$f(p_i) = 1$$f(H_i|p_i,n_i)f(p_i)= f(H_i|p_i,n_i)$

Para calcular , usamos o fato de que a integral sobre um pdf deve ser uma . Portanto, o denominador será um fator constante para conseguir exatamente isso. Existe um pdf conhecido que difere do nomeado apenas por um fator constante, que é a distribuição beta . Portanto, $f(n_i,H_i)$$\int_0^1f(p|H_i,n_i)\mathrm dp = 1$

$$f(p_i|H_i,n_i) = \frac{1}{B(H_i+1, n_i-H_i+1)}p_i^{H_i}(1-p_i)^{n_i-H_i}.$$

O pdf para o par de probabilidades de moedas independentes é

$$f(p_1,p_2|H_1,n_1,H_2,n_2) = f(p_1|H_1,n_1)f(p_2|H_2,n_2).$$

Agora precisamos integrar isso nos casos em que , a fim de descobrir qual a probabilidade da moeda ser melhor do que a moeda : $p_1>p_2$$1$$2$

$$\begin{align} \mathbb P(p_1>p_2) &= \int_0^1 \int_0^{p‘_1} f(p‘_1,p‘_2|H_1,n_1,H_2,n_2)\mathrm dp‘_2 \mathrm dp‘_1\\ &=\int_0^1 \frac{B(p‘_1;H_2+1,n_2-H_2+1)}{B(H_2+1,n_2-H_2+1)} f(p‘_1|H_1,n_1)\mathrm dp‘_1 \end{align}$$

Não consigo resolver esta última integral analiticamente, mas é possível resolvê-la numericamente com um computador depois de inserir os números. é a função beta e é a função beta incompleta. Observe que porque é uma variável contínua e nunca é exatamente igual a .$B(\cdot,\cdot)$$B(\cdot;\cdot,\cdot)$$\mathbb P(p_1=p_2) = 0$$p_1$$p_2$

---

Com relação à suposição anterior sobre e observações sobre ela: Uma boa alternativa ao modelo que muitos acreditam é usar uma distribuição beta . Isso levaria a uma probabilidade final Dessa maneira, pode-se modelar um forte viés em relação às moedas regulares por , grande, mas igual . Seria o equivalente a jogar a moeda mais vezes e receber cabeças portanto equivalentes a apenas ter mais dados. é a quantidade de lançamentos que não precisaríamos fazer$f(p_i)$$Beta(a_i+1,b_i+1)$

$$\mathbb P(p_1>p_2) =\int_0^1 \frac{B(p‘_1;H_2+1+a_2,n_2-H_2+1+b_2)}{B(H_2+1+a_2,n_2-H_2+1+b_2)} f(p‘_1|H_1+a_1,n_1+a_1+b_1)\mathrm dp‘_1.$$ $a_i$$b_i$$a_i+b_i$$a_i$$a_i + b_i$ se incluirmos isso antes.

O OP declarou que as duas moedas são tendenciosas em um grau desconhecido. Então eu entendi que todo conhecimento deve ser inferido a partir das observações. É por isso que optei por um desinformativo antes que a dose não viesse o resultado, por exemplo, para moedas comuns.

Toda a informação pode ser transmitida na forma de por moeda. A falta de um prévio informativo significa apenas mais observações para decidir qual moeda é melhor com alta probabilidade.$(H_i, n_i)$

---

Aqui está o código em R que fornece uma função usando o anterior uniforme : P(n1, H1, n2, H2) $=\mathbb P(p_1>p_2)$$f(p_i)=1$

mp <- function(p1, n1, H1, n2, H2) {
    f1 <- pbeta(p1, H2 + 1, n2 - H2 + 1)
    f2 <- dbeta(p1, H1 + 1, n1 - H1 + 1)
    return(f1 * f2)
}

P <- function(n1, H1, n2, H2) {
    return(integrate(mp, 0, 1, n1, H1, n2, H2))
}

Você pode desenhar para diferentes resultados experimentais e corrigir , , por exemplo, com este código sniped:$P(p_1>p_2)$$n_1$$n_2$$n_1=n_2=4$

library(lattice)
n1 <- 4
n2 <- 4
heads <- expand.grid(H1 = 0:n1, H2 = 0:n2)
heads$P <- apply(heads, 1, function(H) P(n1, H[1], n2, H[2])$value)
levelplot(P ~ H1 + H2, heads, main = "P(p1 > p2)")

Você pode precisar install.packages("lattice")primeiro.

Pode-se ver, que mesmo com a prévia uniforme e um pequeno tamanho da amostra, a probabilidade ou acreditar que uma moeda é melhor pode se tornar bastante sólida, quando e diferem bastante. Uma diferença relativa ainda menor é necessária se e forem ainda maiores. Aqui está uma trama para e :$H_1$$H_2$$n_1$$n_2$$n_1=100$$n_2=200$

---

Martijn Weterings sugeriu calcular a distribuição de probabilidade posterior para a diferença entre e . Isso pode ser feito integrando o pdf do par ao conjunto : $p_1$$p_2$$S(d)=\{(p_1,p_2)\in[0,1]^2|d=|p_1-p_2|\}$

$$\begin{align} f(d|H_1,n_1,H_2,n_2) &= \int_{S(d)}f(p_1,p_2|H_1,n_1,H_2,n_2) \mathrm d\gamma\\ &= \int_0^{1-d} f(p,p+d|H_1,n_1,H_2,n_2) \mathrm dp + \int_d^1 f(p,p-d|H_1,n_1,H_2,n_2) \mathrm dp\\ \end{align}$$

Novamente, não é uma integral que eu possa resolver analiticamente, mas o código R seria:

d1 <- function(p, d, n1, H1, n2, H2) {
    f1 <- dbeta(p, H1 + 1, n1 - H1 + 1)
    f2 <- dbeta(p + d, H2 + 1, n2 - H2 + 1)
    return(f1 * f2)
}

d2 <- function(p, d, n1, H1, n2, H2) {
    f1 <- dbeta(p, H1 + 1, n1 - H1 + 1)
    f2 <- dbeta(p - d, H2 + 1, n2 - H2 + 1)
    return(f1 * f2)
}

fd <- function(d, n1, H1, n2, H2) {
    if (d==1) return(0)
    s1 <- integrate(d1, 0, 1-d, d, n1, H1, n2, H2)
    s2 <- integrate(d2, d, 1, d, n1, H1, n2, H2)
    return(s1$value + s2$value)
}

Eu tracei para , , e todos os valores de :$f(d|n_1,H_1,n_2,H_2)$$n_1=4$$H_1=3$$n_2=4$$H_2$

n1 <- 4
n2 <- 4
H1 <- 3
d <- seq(0, 1, length = 500)

get_f <- function(H2) sapply(d, fd, n1, H1, n2, H2)
dat <- sapply(0:n2, get_f)

matplot(d, dat, type = "l", ylab = "Density",
        main = "f(d | 4, 3, 4, H2)")
legend("topright", legend = paste("H2 =", 0:n2),
       col = 1:(n2 + 1), pch = "-")

Você pode calcular a probabilidade deestar acima de um valor por . Lembre-se de que a dupla aplicação da integral numérica vem com algum erro numérico. Por exemplo, deve sempre ser igual a pois sempre assume um valor entre e . Mas o resultado geralmente se desvia um pouco.$|p_1-p_2|$$d$integrate(fd, d, 1, n1, H1, n2, H2)integrate(fd, 0, 1, n1, H1, n2, H2)$1$$d$$0$$1$

Fiz uma simulação numérica com R, provavelmente você está procurando uma resposta analítica, mas achei que isso poderia ser interessante para compartilhar.

set.seed(123)
# coin 1
N1 = 20
theta1 = 0.7

toss1 <- rbinom(n = N1, size = 1, prob = theta1)

# coin 2
N2 = 25
theta2 = 0.5

toss2 <- rbinom(n = N2, size = 1, prob = theta2)

# frequency
sum(toss1)/N1 # [1] 0.65
sum(toss2)/N2 # [1] 0.52

Neste primeiro código, eu simplesmente simulo dois sorteios. Aqui você pode ver, é claro theta1 > theta2, que a frequência H1será maior que H2. Observe o diferente N1, N2os tamanhos.

Vamos ver o que podemos fazer com diferentes thetas. Observe que o código não é o ideal. Em absoluto.

simulation <- function(N1, N2, theta1, theta2, nsim = 100) {
  count1 <- count2 <- 0

  for (i in 1:nsim) {
    toss1 <- rbinom(n = N1, size = 1, prob = theta1)
    toss2 <- rbinom(n = N2, size = 1, prob = theta2)

    if (sum(toss1)/N1 > sum(toss2)/N2) {count1 = count1 + 1} 
    #if (sum(toss1)/N1 < sum(toss2)/N2) {count2 = count2 + 1} 
  }

  count1/nsim

}
set.seed(123)
simulation(20, 25, 0.7, 0.5, 100)
#[1] 0.93

Então 0,93 é a frequência dos tempos (de um 100) em que a primeira moeda tinha mais cabeças. Isso parece bom, olhando theta1e theta2usado.

Vamos ver com dois vetores de thetas.

theta1_v <- seq(from = 0.1, to = 0.9, by = 0.1)
theta2_v <- seq(from = 0.9, to = 0.1, by = -0.1)

res_v <- c()
for (i in 1:length(theta1_v)) {

  res <- simulation(1000, 1500, theta1_v[i], theta2_v[i], 100)
  res_v[i] <- res

}

plot(theta1_v, res_v, type = "l")

Lembre-se de que res_vsão as frequências em que H1 > H2, de 100 simulações.

Assim, à medida que theta1aumenta, a probabilidade de H1ser maior aumenta, é claro.

Já fiz algumas outras simulações e parece que os tamanhos N1, N2são menos importantes.

Se você estiver familiarizado, Ruse esse código para esclarecer um pouco o problema. Estou ciente de que essa não é uma análise completa e pode ser melhorada.