Existem várias abordagens para fazer testes Bayesian A / B.
Antes de tudo, você deve decidir se deseja usar uma abordagem analítica (usando distribuições conjugadas como menciona Lenwood) ou uma abordagem MCMC. Para experimentos simples de A / B, particularmente na taxa de conversão, é o seu caso, não há realmente necessidade de usar uma abordagem MCMC: basta usar uma distribuição Beta como prévia e sua distribuição posterior também será uma distribuição Beta.
Em seguida, você precisa decidir qual regra de decisão aplicar. Aqui, parece haver duas abordagens principais para a tomada de decisão. O primeiro é baseado em um artigo de John Kruschke, da Universidade de Indiana (K. Kruschke, Bayesian Estimation Substitui o Teste t , Journal of Experimental Psychology: General, 142, 573 (2013)). A regra de decisão usada neste artigo é baseada no conceito de Região de Equivalência Prática (ROPE).
Outra possibilidade é usar o conceito de perda esperada. Foi proposto por Chris Stucchio (C. Stucchio, Bayesian A / B Testing at VWO ).
Em princípio, você poderia usar uma regra de decisão diferente.
Você pode encontrar isso e muito mais neste post do blog: Teste Bayesian A / B: um guia passo a passo . Ele também inclui alguns trechos de código Python e usa um projeto Python hospedado no Github .