Aumentar dinamicamente o tamanho da amostra é bom, se declarado a priori?

Estou prestes a fazer um estudo sobre os méritos de um estímulo comparado a outro com um design dentro do assunto. Eu tenho um esquema de permutação projetado para reduzir os efeitos da ordem de algumas partes do estudo (ordem do tipo de tarefa, ordem de estímulo, ordem do conjunto de tarefas). O esquema de permutação determina que o tamanho da amostra seja divisível por 8.

Para determinar o tamanho da amostra, eu teria que adivinhar (sendo uma boa tradição em meu campo) ou calcular o tamanho da amostra para o poder desejado. O problema agora é que não tenho a menor idéia do tamanho do efeito que observarei (também uma boa tradição em meu campo). Isso significa que o cálculo da potência é um pouco difícil. Adivinhar, por outro lado, também pode ser ruim, porque posso apresentar um tamanho de amostra muito baixo ou pagar muito dinheiro aos meus participantes e passar muito tempo no laboratório.

Tudo bem afirmar antecipadamente que adiciono participantes em lotes de 8 pessoas até deixar um corredor de dois valores-p? Por exemplo, 0,05 <p <0,30? Ou de que outra forma, você recomendaria, devo prosseguir?

Primeiro, para responder diretamente à sua pergunta: não, você não pode simplesmente continuar até obter um valor-p significativo. O design que você propõe tem uma taxa de erro do tipo I acima de 5%. No entanto, a ideia subjacente está correta, exceto que você precisa ajustar os pontos de corte. De fato, como o @ cardinal mencionado nos comentários, existe um campo inteiro de pesquisa para sua pergunta: eles são chamados de projetos adaptativos sequenciais, seqüenciais em grupo ou, de maneira mais geral, (eles não são as mesmas coisas, mas durante todo o processo). linhas da sua ideia).

Aqui está uma referência que demonstra algumas das idéias básicas: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Optimizing Trial Design: Circulação de Estratégias Sequenciais, Adaptativas e de Enriquecimento . 2009; 119: 597-605

Você já pensou em analisar o poder em vários tamanhos de efeito? Por exemplo, freqüentemente calculo a potência como uma curva e acabo com uma infinidade de cenários possíveis inseridos no gráfico, em que posso tomar uma decisão sobre o tamanho da amostra. Por exemplo, eu posso calcular o tamanho da amostra necessário para medidas de efeito que variam de muito próximo a nulo e um pouco mais alto do que meus sonhos mais loucos, esse será navegar pela revisão por pares.

Também posso traçar outros cenários, dependendo de quanto eu não saiba sobre os dados. Por exemplo, abaixo está um gráfico que calcula a potência, não o tamanho da amostra, mas possui um conceito semelhante. Eu sei muito pouco sobre os dados, então assumi uma taxa de eventos de 10% para uma análise de sobrevivência e calculei o poder do estudo (o tamanho da amostra foi corrigido) sob várias condições:

Também pode ser possível variar, nesse caso, o número de eventos, o que deixaria você com várias plotagens ou uma "Superfície de poder". Essa parece ser uma maneira muito mais rápida de entender pelo menos onde você deve procurar o tamanho da amostra, em vez de modificar o tamanho da amostra rapidamente. Ou pelo menos, dê um limite para parar de adicionar pessoas. Por exemplo, se seus cálculos disserem que 1.000 pessoas permitirão que você veja um efeito de algo muito pequeno - por exemplo, uma taxa de risco de 1,01 ou algo semelhante -, você sabe que, se acertar, pode parar de tentar adicionar pessoas, porque não é um problema de energia, mas um problema "não há nada lá".

Ao fazer cálculos de potência, a pergunta que costumo fazer (no meu campo, que também tem essas tradições) tende a ser "Qual o tamanho de um efeito para as pessoas se importarem?". Se o seu método for "significativamente" melhor com uma melhoria de 0,1%, alguém se importará? Que tal uma melhoria de 0,01%?