Teste A / B em Python ou R [fechado]

8

Teste A / B:

http://20bits.com/articles/statistical-analysis-and-ab-testing/

http://elem.com/~btilly/effective-ab-testing/

Eu não estou muito familiarizado com o teste A / B, mas queria saber se havia algum pacote / biblioteca específica em R ou Python que possa ser usada para executar o teste A / B.

r python ab-test

— ATMathew
fonte

O teste A / B é principalmente sobre projetos de experimentos. Para a questão de testar uma tabela de contingência, sim R tem muitos pacotes disponíveis.

— Henry

1

É apenas um desenho fatorial simples. Se você procurar algum recurso para conduzir análises estatísticas em Python ou R, poderá descobrir quais funções em quais bibliotecas são necessárias. Vejo nos comentários do artigo de 20bits 'prop.test ()' em R pode ser o que você está procurando.

— Andy W

12

Claro, tanto para python quanto para R, existem alguns pacotes / bibliotecas interessantes e úteis.

Primeiro, para python, eu recomendo a leitura desta resposta StackOverflow direcionada a uma pergunta sobre testes A / B em Python / Django. É uma tese de mestrado de uma página sobre o assunto.

Akoha é um pacote relativamente recente (com pouco mais de um ano de idade) direcionado para o AB Testing no Django. Eu não usei este pacote, mas aparentemente é o pacote Django mais usado desse tipo (com base no número de downloads). Está disponível no bitbucket .

O Django-AB é o outro pacote do Django que eu conheço e o único que eu usei.

Como você esperaria que os Pacotes suportassem uma estrutura da Web, cada um fornece uma microestrutura para instalar, configurar, conduzir e registrar os resultados dos testes AB. Como seria de esperar, os dois funcionam alternando dinamicamente o modelo ( django) (página de esqueleto html) referenciado no arquivo views.py .

Para R, eu recomendo o pacote agricolae , de autoria e manutenção de uma universidade no Peru. disponível no CRAN. Isso faz parte da distribuição principal. (Veja também agridat , que é composto de conjuntos de dados muito úteis dos testes AB e multivariados concluídos).

Tanto quanto sei, e já me referi à documentação agrícola muitas vezes, aplicativos ou sites da Web nunca são mencionados como o assunto de teste / analítico. Pelo nome do pacote, você pode dizer que o domínio é agricultura, mas a analogia com os testes na Web é quase perfeita. Este pacote complementa bem os dois pacotes do Django, porque as agricolas são direcionadas ao início (design do teste e estabelecimento de critério de sucesso / término) e final (análise dos resultados) do fluxo de trabalho do Teste AB.

— doug
fonte

2

Dependendo da abordagem que você deseja adotar, o abaixo oferece duas alternativas. O primeiro é o teste qui-quadrado tradicional para testes divididos e o segundo é uma abordagem bayesiana para testes divididos. Dependendo dos requisitos de seus stakeholders organizacionais para a análise, você também pode fazer os dois se tiver os dados.

Teste Qui-quadrado (tradicional) Teste A / B com Python: http://okomestudio.net/biboroku/?p=2375

Teste Bayesian A / B com Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html

— Andrew Owens
fonte