Em fevereiro de 2016, a American Statistical Association divulgou uma declaração formal sobre significância estatística e valores de p. Nosso tópico sobre o assunto discute esses problemas extensivamente. No entanto, nenhuma autoridade surgiu para oferecer uma alternativa eficaz universalmente reconhecida - até agora. A American Statistical Society (ASS) publicou sua resposta, valores-p: o que vem a seguir?
"O valor p não é bom para muita coisa."
Achamos que o ASA não foi suficientemente longe. É hora de admitir que a era dos valores-p acabou. Os estatísticos os usaram com sucesso para confundir estudantes de graduação, enganar cientistas e editores tolos em todos os lugares, mas o mundo está começando a entender esse truque. Precisamos abandonar essa tentativa do estatístico do início do século XX de controlar a tomada de decisão. Precisamos voltar ao que realmente funciona.
A proposta oficial da ASS é a seguinte:
No lugar dos valores-p, o ASS defende o STOP (procedimento SeaT-Of-Pants). Esse método consagrado pelo tempo e testado foi usado pelos antigos gregos, homens renascentistas e todos os cientistas até Ronald Fisher aparecer e arruinar as coisas. O STOP é simples, direto, orientado a dados e autoritário. Para realizá-lo, uma figura de autoridade (um homem mais velho, de preferência) revisa os dados e decide se eles concordam com sua opinião. Quando ele decide que sim, o resultado é "significativo". Caso contrário, não é e todos devem esquecer a coisa toda.
Princípios
A resposta aborda cada um dos seis princípios da ASA.
O STOP pode indicar o quão incompatíveis os dados são com um modelo estatístico especificado.
Gostamos dessa frase porque é uma maneira elegante de dizer que o STOP responderá a qualquer pergunta sim ou não. Ao contrário dos valores-p ou de outros procedimentos estatísticos, não deixa dúvidas. É a resposta perfeita para aqueles que dizem “não precisamos de nenhuma hipótese nula fedorenta! Mas que merda é essa? Ninguém jamais conseguiu descobrir o que deveria ser.
O STOP não mede a probabilidade de uma hipótese ser verdadeira: na verdade, decide se é verdadeira ou não.
Todo mundo está confuso com as probabilidades. Tirando a probabilidade de fora de cena, o STOP elimina a necessidade de anos de estudos de graduação e pós-graduação. Agora, qualquer pessoa (suficientemente velha e masculina) pode realizar análises estatísticas sem a dor e a tortura de ouvir até uma única palestra estatística ou executar um software misterioso que produz resultados ininteligíveis.
Conclusões científicas e decisões de negócios ou políticas podem se basear no senso comum e em figuras reais de autoridade.
De qualquer forma, decisões importantes sempre foram tomadas pelas autoridades, então vamos apenas admitir e eliminar os intermediários. O uso do STOP liberará os estatísticos para fazer o que eles são mais adequados: usar números para ofuscar a verdade e santificar as preferências daqueles que estão no poder.
Inferência adequada requer relatórios completos e transparência.
O STOP é o procedimento estatístico mais transparente e evidente que já foi inventado: você olha os dados e decide. Ele elimina todos os confusos testes z, testes t, testes qui-quadrado e sopa de letrinhas (ANOVA! GLM! MLE!) Usados pelas pessoas para esconder o fato de que elas não têm idéia do significado dos dados.
O STOP mede a importância do resultado.
Isso é evidente: se uma pessoa com autoridade emprega o STOP, o resultado deve ser importante.
Por si só, o STOP fornece uma boa medida de evidência a respeito de um modelo ou hipótese.
Não queremos desafiar uma autoridade, queremos? Pesquisadores e tomadores de decisão reconhecerão que o STOP fornece todas as informações que eles precisam saber. Por esses motivos, a análise de dados pode terminar com o STOP; não há necessidade de abordagens alternativas, como valores-p, aprendizado de máquina ou astrologia.
Outras abordagens
Alguns estatísticos preferem os chamados métodos “bayesianos”, nos quais um teorema obscuro publicado postumamente por um clérigo do século 18 é aplicado sem pensar para resolver todos os problemas. Seus advogados mais destacados admitem livremente que esses métodos são "subjetivos". Se vamos usar métodos subjetivos, obviamente, quanto mais autoritário e conhecedor for o tomador de decisão, melhor será o resultado. O STOP surge assim como o limite lógico de todos os métodos de Bayes. Por que se esforçar para fazer esses cálculos terríveis e dedicar tanto tempo ao computador, quando você pode simplesmente mostrar os dados ao responsável e perguntar qual é a opinião dele? Fim da história.
Outra comunidade surgiu recentemente para desafiar o sacerdócio de estatísticos. Eles se autodenominam "aprendizes de máquina" e "cientistas de dados", mas na verdade são apenas hackers que buscam status mais alto. É a posição oficial do ASS que esses caras devem formar sua própria organização profissional se quiserem que as pessoas os levem a sério.
A questão
Essa é a resposta para os problemas que o ASA identificou com valores-p e teste de hipótese nula? Pode realmente unir os paradigmas Bayesiano e Frequentista (como implicitamente reivindicado na resposta)?