Os estudos com pouca capacidade aumentam a probabilidade de falsos positivos?

Esta pergunta foi feita antes aqui e aqui, mas não acho que as respostas abordem a questão diretamente.

Os estudos com pouca capacidade aumentam a probabilidade de falsos positivos? Alguns artigos de notícias fazem essa afirmação. Por exemplo :

Baixo poder estatístico é uma má notícia. Estudos com baixa potência têm maior probabilidade de perder efeitos genuínos e, como grupo, têm maior probabilidade de incluir uma proporção maior de falsos positivos - isto é, efeitos que atingem significância estatística, mesmo que não sejam reais.

Pelo que entendi, o poder de um teste pode ser aumentado por:

• aumentando o tamanho da amostra
• tendo um tamanho de efeito maior
• aumentando o nível de significância

Supondo que não queremos alterar o nível de significância, acredito que a citação acima se refere à alteração do tamanho da amostra. No entanto, não vejo como a diminuição da amostra deve aumentar o número de falsos positivos. Simplificando, reduzir o poder de um estudo aumenta as chances de falsos negativos, o que responde à pergunta:

Pelo contrário, os falsos positivos respondem à pergunta:

Ambas são questões diferentes porque os condicionais são diferentes. O poder está (inversamente) relacionado a falsos negativos, mas não a falsos positivos. Estou esquecendo de algo?

Você está correto, pois o tamanho da amostra afeta a energia (erro 1 do tipo II), mas não o erro tipo I. É um equívoco comum que um valor p como tal (interpretado corretamente) seja menos confiável ou válido quando o tamanho da amostra é pequeno - o artigo muito divertido de Friston 2012 tem uma opinião engraçada sobre isso [1].

Dito isto, os problemas dos estudos com pouca capacidade são reais, e a citação está amplamente correta, eu diria, apenas um pouco imprecisa em sua redação.

O problema básico dos estudos com pouca potência é que, embora a taxa de falsos positivos (erro tipo I) nos testes de hipótese seja fixa, a taxa de verdadeiros positivos (potência) diminui. Portanto, é menos provável que um resultado positivo (= significativo) seja um verdadeiro positivo em um estudo de baixa potência. Essa idéia é expressa na taxa de falsas descobertas [2], veja também [3]. Parece a que a citação se refere.

Uma questão adicional frequentemente mencionada em relação aos estudos de menor poder é que eles levam a tamanhos de efeito superestimados. A razão é que: a) com menor potência, suas estimativas dos efeitos verdadeiros se tornarão mais variáveis ​​(estocásticas) em torno de seu verdadeiro valor eb) apenas o mais forte desses efeitos passará no filtro de significância quando a energia estiver baixa. Deve-se acrescentar, porém, que esse é um problema de relatório que pode ser facilmente resolvido discutindo e relatando todos e não apenas os efeitos significativos.

Finalmente, uma questão prática importante com estudos com pouca potência é que a baixa potência aumenta as questões estatísticas (por exemplo, o viés dos estimadores), bem como a tentação de brincar com variáveis ​​e táticas similares de hackers. O uso desses "graus de liberdade do pesquisador" é mais eficaz quando a energia é baixa, e ISTO pode aumentar o erro do tipo I, afinal, veja, por exemplo, [4].

Por todas essas razões, eu ficaria, de fato, cético em relação a um estudo de baixa potência.

[1] Friston, K. (2012) Dez regras irônicas para revisores não estatísticos. NeuroImage, 61, 1300-1310.

[2] https://en.wikipedia.org/wiki/False_discovery_rate

[3] Botão, KS; Ioannidis, JPA; Mokrysz, C .; Nosek, BA; Flint, J .; Robinson, ESJ & Munafo, MR (2013) Falha de energia: por que o tamanho pequeno da amostra prejudica a confiabilidade da neurociência. Nat. Rev. Neurosci., 14, 365-376

[4] Simmons, JP; Nelson, LD & Simonsohn, U. (2011) Psicologia falso-positiva: flexibilidade não revelada na coleta e análise de dados permite apresentar qualquer coisa como significativa. Psychol Sei., 22, 1359-1366.

Dependendo de como você olha para ele, a baixa potência pode aumentar as taxas de falsos positivos em determinados cenários.

Considere o seguinte: um pesquisador testa um tratamento. Se o teste voltar como insignificante, eles o abandonam e passam para o próximo tratamento. Se o teste voltar significativo, eles o publicam. Vamos considerar também que o pesquisador testará alguns tratamentos que funcionam e outros que não. Se o pesquisador tiver alto poder (é claro que se refere ao caso em que está testando um tratamento que funciona), é muito provável que ele pare assim que testar um tratamento eficaz. Por outro lado, com baixo consumo de energia, eles provavelmente perderão o verdadeiro efeito do tratamento e passarão para outros tratamentos. Quanto mais tratamentos nulos forem testados, maior a probabilidade de cometer um erro do tipo I (esse pesquisador não leva em consideração comparações múltiplas). No caso de baixa potência, espera-se que eles testem muito mais tratamentos nulos,

Você pode dizer "bem, este é apenas um pesquisador que está abusando de múltiplas comparações!". Bem, isso pode ser verdade, mas também é assim que muitas pesquisas são feitas atualmente. Por exatamente essas razões, eu pessoalmente tenho pouca fé no trabalho publicado, a menos que tenha um tamanho de amostra suficientemente grande para que o pesquisador não possa se dar ao luxo de repetir o mesmo experimento várias vezes.

A baixa energia não pode afetar a taxa de erro do Tipo 1, mas pode afetar a proporção de resultados publicados que são erros do tipo 1.

O motivo é que a baixa potência reduz as chances de uma rejeição correta de H0 (erro tipo 2), mas não as chances de uma falsa rejeição de H0 (erro tipo 1).

Suponha por um segundo que haja duas literaturas ... uma conduzida com potência muito baixa - quase zero - e a outra conduzida com energia adequada. Nas duas literaturas, você pode supor que quando H0 for falso, você ainda obterá falsos positivos algumas vezes (por exemplo, 5% para alfa = 0,05). Supondo que os pesquisadores nem sempre estejam corretos em suas hipóteses, podemos assumir que ambas as literaturas devem ter um NÚMERO de erros do tipo 1 semelhante, boa potência ou não. Isso ocorre porque a taxa de erros do tipo 1 não é afetada pela energia, como outros já disseram.

No entanto, na literatura com baixa potência, você também teria muitos erros do tipo 2. Em outras palavras, a literatura de baixa potência deve NÃO ter rejeições corretas de H0, tornando os erros do tipo 1 uma proporção maior da literatura. Na literatura de alta potência, você deve ter uma mistura de rejeições corretas e incorretas de H0.

Então, a baixa potência aumenta os erros do tipo 1? Não. No entanto, torna mais difícil encontrar efeitos verdadeiros, tornando os erros do tipo 1 uma proporção maior de descobertas publicadas.

Além das outras respostas, um estudo geralmente é insuficiente quando o tamanho da amostra é pequeno. Existem muitos testes que são apenas assintoticamente válidos e muito otimistas ou conservadores para pequenos n.

Outros testes são válidos apenas para amostras pequenas, se certas condições forem atendidas, mas tornam-se mais robustas com uma amostra grande (por exemplo, teste t).

Em ambos os casos, o tamanho pequeno da amostra e a suposição não atendida podem levar a um aumento da taxa de erro do tipo I. Ambas as situações ocorrem com frequência suficiente para eu considerar a resposta real à sua pergunta: não na teoria, mas na prática.