Estou tentando fazer testes A / B da maneira bayesiana, como em Programação Probabilística para Hackers e testes A / B bayesianos . Ambos os artigos pressupõem que o tomador de decisão decide qual das variantes é melhor com base apenas na probabilidade de algum critério, por exemplo, ; portanto, é melhor. Essa probabilidade não fornece nenhuma informação sobre se havia quantidade suficiente de dados para tirar conclusões a partir dele. Então, não está claro para mim quando parar o teste.A
Suponha que há dois RVs binários, e , e eu quero para estimar quão provável é que , e com base nas observações de e . Além disso, suponha que e posteriores sejam beta-distribuídos.B p A > p B p A - p BABpApB
Como posso encontrar os parâmetros para e , posso amostrar os posteriores e estimar . Exemplo em python:p Ap BP ( p A > p B | dados )
import numpy as np
samples = {'A': np.random.beta(alpha1, beta1, 1000),
'B': np.random.beta(alpha2, beta2, 1000)}
p = np.mean(samples['A'] > samples['B'])
Eu poderia obter, por exemplo, . Agora eu gostaria de ter algo como .
Eu pesquisei sobre intervalos credíveis e fatores Bayes, mas não consigo entender como calculá-los para este caso, se eles são aplicáveis. Como posso calcular essas estatísticas adicionais para ter um bom critério de finalização?