Tamanho da amostra necessário para determinar qual de um conjunto de anúncios tem a maior taxa de cliques

Sou designer de software por profissão e estou trabalhando em um projeto para um cliente, e gostaria de garantir que minha análise seja estatisticamente correta.

Considere o seguinte: Temos n anúncios (n <10) e queremos simplesmente saber qual anúncio apresenta o melhor desempenho. Nosso servidor de anúncios exibirá aleatoriamente um desses anúncios. O sucesso é se o usuário clicar no anúncio - nosso servidor o acompanhará.

Dado: Intervalo de confiança: 95%

Pergunta: Qual é o tamanho estimado da amostra? (Quantos anúncios totais devemos exibir), por quê? (lembre-se que eu sou um manequim)

obrigado

— Jonathan
fonte

Você poderia esclarecer o que quer dizer com "margem de erro de 5%"?

— onestop 10/03/11

@ onestop - bom esclarecimento - removi-o da questão. Acabei de pegar essa variável da seguinte calculadora de tamanho de amostra: raosoft.com/samplesize.html Mas não acho que seja relevante nesta questão. Obrigado!

— 11136 Jonathan

Para muitos testes, você pode calcular um tamanho de amostra de modo que o teste atinja um certo poder, considerando um tamanho de efeito assumido (fixo). Em outras palavras, você deve especificar essas coisas primeiro: 1) que teste você deseja usar? 2) que poder você deseja que esse teste tenha? condicional em 3) um tamanho de efeito que você julgue interessante. 1) é algo que as pessoas aqui provavelmente podem ajudá-lo. 2) pode estar relacionado aos 95% que você indicou. 3) no entanto, é algo que você deve fornecer antecipadamente: qual a diferença entre as probabilidades e que deve ser considerada interessante?

— caracal

Então, se eu tiver que dar mais parâmetros, aqui vai: 1. teste para usar - não faço ideia - você tem sugestões? 2. poder : mesmo depois de olhar para a definição da Wikipedia - eu não sei como responder de maneira inteligente. 3. tamanho do efeito : Vamos dizer 10% melhor #

— Jonathan

O teste que você provavelmente deseja é o teste exato de Fisher . Infelizmente, dada a provável taxa de cliques muito baixa e o pequeno tamanho esperado do efeito, você precisará de um N enorme para atingir o intervalo de confiança desejado. Digamos que a taxa de cliques 'verdadeira' do seu melhor anúncio é 0,11 e o segundo melhor .1. Além disso, digamos que você queira que a probabilidade de falha incorreta em rejeitar a hipótese nula (de que não haja diferença entre os dois anúncios) seja menor que 0,20. Nesse caso, você precisará de um N na ordem de 10.000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Como sugeriu um comentarista, você provavelmente não deve se importar com uma diferença de dez por cento no desempenho do anúncio. Para diferenças mais grosseiras, o tamanho necessário das amostras diminui rapidamente.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
fonte