Teste seqüencial de hipóteses em ciência básica

Sou farmacologista e, na minha experiência, quase todos os trabalhos de pesquisa biomédica básica usam o teste t de Student (para apoiar inferência ou para atender às expectativas ...). Há alguns anos, percebi que o teste t de Student não é o teste mais eficiente que pode ser usado: os testes sequenciais oferecem muito mais potência para qualquer tamanho de amostra ou um tamanho de amostra muito menor, em média, para potência equivalente.

Procedimentos sequenciais de complexidade variável são usados em pesquisas clínicas, mas nunca vi um usado em uma publicação básica de pesquisa biomédica. Observo que eles também estão ausentes dos livros de estatística de nível introdutório que são tudo o que os cientistas mais básicos provavelmente verão.

Minha pergunta é tripla:

Dada a vantagem de eficiência muito substancial dos testes seqüenciais, por que eles não são mais amplamente utilizados?
Existe uma desvantagem associada ao uso de métodos seqüenciais que significaria que seu uso por não estatísticos deve ser desencorajado?
Os estudantes de estatística são ensinados sobre procedimentos de teste seqüencial?

hypothesis-testing teaching statistical-significance

— Michael Lew - restabelece Monica
fonte

Só para ter certeza, você está falando sobre ST como encontrado em ensaios clínicos, por exemplo, en.wikipedia.org/wiki/Sequential_analysis ?

— chl

Sim. Existem algumas variantes de testes seqüenciais, incluindo testes t seqüenciais, mas nenhum é usado na pesquisa básica. Não vejo nenhum impedimento ao uso deles.

— Michael Lew - restabelece Monica

(+1) Tropecei nos testes sequenciais e me fiz as mesmas perguntas.

— 18711 steffen

Não conheço muitos testes seqüenciais e sua aplicação fora da análise interina (Jennison e Turnbull, 2000) e testes adaptativos computadorizados (van der Linden e Glas, 2010). Uma exceção está em alguns estudos de ressonância magnética que estão associados a altos custos e dificuldade de inscrição de sujeitos. Basicamente, nesse caso, o teste seqüencial visa principalmente interromper o experimento anteriormente. Portanto, não me surpreende que essas abordagens muito personalizadas não sejam ensinadas nas aulas estatísticas habituais.

Os testes seqüenciais não deixam de ter suas armadilhas, embora (os erros do tipo I e II tenham que ser especificados com antecedência, a escolha da regra de parada e a observação múltipla dos resultados devam ser justificadas, os valores de p não são distribuídos uniformemente sob o nulo como em um número fixo design de amostra, etc.). Na maioria dos projetos, trabalhamos com um cenário experimental pré-especificado ou um estudo preliminar de potência foi realizado, para otimizar algum tipo de critério de custo-efetividade, caso em que se aplicam procedimentos de teste padrão.

Achei, no entanto, o seguinte artigo de Maik Dierkes sobre projeto de amostra fixo vs. aberto muito interessante: Uma reivindicação de projetos seqüenciais de experimentos .

— chl
fonte

Pesquisadores biomédicos básicos fazem análises intermediárias o tempo todo, eles simplesmente não as declaram porque nem sabem que isso importa! Eu pesquisei pesquisadores em um congresso nacional e constatei que mais de 50% não sabiam que o controle das taxas de erro do teste t de Student depende de um tamanho de amostra fixo pré-determinado. Você pode ver evidências disso nos tamanhos de amostra às vezes erraticamente variáveis usados.

— Michael Lew - restabelece Monica

Algumas das desvantagens decorrentes das complexidades dos projetos seqüenciais vêm especificamente no design das análises e não na sua implementação. Talvez possamos ter um conjunto de projetos pré-enlatados para experimentos básicos de pequenas amostras.

— Michael Lew - restabelece Monica

@ Michael Sobre as análises intermediárias "falsas" (observar os valores-p enquanto o estudo ainda está em fase de evolução): parece que é um uso inadequado das estatísticas, não mais.

— quer

@Chi Em um nível, sim, análises intermediárias não declaradas e não corrigidas são inadequadas (mas são feitas por ignorância, uma ignorância que acredito apontar inadequações nos métodos de ensino de estatística para pesquisadores biomédicos básicos ...). No entanto, se o considerarmos em um nível meta, é possível encontrar algumas justificativas parciais. Muitas experiências envolvem amostras tão pequenas que uma taxa de erro falso positivo aumentada pode ser uma troca razoável de mais potência. A Convenção impede um nível declarado de alfa maior que 0,05.

— Michael Lew - restabelece Monica

Observo neste contexto que os pesquisadores biomédicos básicos não trabalham exclusivamente com uma abordagem de Neyman-Pearson, mesmo que afirmações de que "resultados em que P <0,05 foram considerados significativos" possam sugerir o contrário. Se permanecermos dentro dos limites do teste de significância de Fisher, em que considerações diferentes do valor P alcançado podem ser incorporadas nas decisões de como lidar com os resultados do teste, talvez as análises intermediárias possam não ser tão ruins. No entanto, é certo que um teste seqüencial projetado seria superior a um teste não designado.

— Michael Lew - restabelece Monica