Qual é o problema com os testes post-hoc?

Meu professor de estatística diz isso, todos os livros que eu olho afirmam: o teste pós-hoc não é científico. Você deve derivar uma hipótese da teoria primeiro e depois coletar dados e analisá-los.

Mas eu realmente não entendo qual é o problema.

Suponhamos que vejo números de vendas para diferentes cores de carros e forme a hipótese de que, a partir de números de carros de cores diferentes, o maior grupo de carros vendidos na rua deve ser branco. Então, eu me sento em uma rua um dia e observo todas as cores de todos os carros que passam por mim. Então eu faço alguns testes e encontro o que quer.

Agora, suponha que eu estivesse entediado e sentado em alguma rua um dia e anotasse todas as cores de todos os carros que passavam por mim. Como eu amo gráficos, planto um bonito histograma e acho que os carros brancos formam o maior grupo. Então eu acho que talvez a maioria dos carros na rua seja branca e faça alguns testes.

Como e por que os resultados ou a interpretação dos resultados do teste post-hoc diferem dos resultados do teste de hipótese * orientado pela teoria?

_{* Qual é o nome do oposto de um teste post-hoc, afinal?}

Gostaria de acrescentar que a maior parte do nosso conhecimento sobre o universo (a Terra se move ao redor do Sol) é deduzida post hoc da observação.

Parece-me que na física é perfeitamente aceitável assumir que é não coincidência que o sol tem vindo a aumentar no Leste durante os últimos mil anos.

"Sabe, a coisa mais incrível aconteceu comigo hoje à noite. Eu estava vindo para cá, a caminho da palestra, e entrei no estacionamento. E você não vai acreditar no que aconteceu. Vi um carro com a licença placa ARW 357. Você pode imaginar? De todos os milhões de placas no estado, qual era a chance de eu ver essa em particular hoje à noite? Incrível! " Richard Feynman

Sinto que não estou em posição de explicar os aspectos técnicos profundos deste problema. No entanto, acho que muitos deles podem ser reduzidos a uma intuição.

Na primeira configuração, você começa com algumas hipóteses que são verificadas em novos dados (da experiência projetada). O estudo dos números de vendas pode levar você a um experimento bem elaborado e muito elaborado, onde você realmente pode decidir o quão forte deve ser a sua resposta (poder estatístico, valores-p, tamanho da amostra e muitas outras coisas).

Na segunda configuração, antes de tudo, você decide nada sobre a força da resposta. Este é um problema. O segundo problema é que extrair a hipótese da mesma amostra usada para testes aumentará de maneira muito incontrolável as chances de que padrões aleatórios sejam interpretados como informações valiosas. O que você faz é notar alguma coisa (que os carros brancos são em grande número) e se perguntar se isso é significativo. O ponto é que você selecionou apenas um fato notável visível nessa amostra, descartando outras hipóteses. Fazendo isso, você criou condições favoráveis para algumas hipóteses e quebra as suposições da maioria dos testes estatísticos a priori.

Não é científico se comportar como se você não soubesse disso vazamento e fingir que é um experimento com todas as suas suposições, quando não é verdade. Nesse caso, é científico usar a análise post hoc para formular uma hipótese e projetar um experimento totalmente novo para testá-lo.

Se você primeiro coleta dados e depois constrói uma teoria baseada nos dados, corre o risco de ajustar uma história às suas observações. O problema é que nós, humanos, somos extremamente bons em escrever histórias. Em outras palavras: qualquer dado pode ser "explicado" por uma história, se ela for complicada o suficiente.

Esse processo fornece boas histórias. No entanto, não há razão para explicar a realidade e / ou fornecer boas previsões. Você precisa configurar e validar um modelo para isso.

O xkcd observa que esse fenômeno permeia o "comentário" dos esportes :

Relacionado é o fenômeno da pareidolia : ver padrões onde não existem. Veja, por exemplo, o "Rosto" que as pessoas viram nas imagens de satélite anteriores de Marte:

Além disso, ao coletar mais dados, você precisa ter cuidado para não ajustar sua história de maneiras cada vez mais bizarras para fazê-la "continuar" a "explicar" suas observações :

A ciência opera formando hipóteses (que são naturalmente motivadas pela experiência), fazendo previsões com base nessas hipóteses e testando-as. Faria sentido observar algo no passado, generalizar essa observação em uma teoria, mas depois tratar o próprio passado como uma espécie de experimento retroativo que valida automaticamente a teoria? Não, porque toda a questão era até que ponto sua teoria se generaliza, não se funcionou ou não uma vez no passado. É por isso que testar hipóteses sugeridas pelos dados é considerado uma ciência ruim.

Seu professor e as outras respostas estão certas quando a análise post-hoc tem problemas. No entanto, você também está certo de que muita ciência boa vem da análise post-hoc. O ponto-chave é que experimentos adequadamente projetados devem ser preferidos e que a análise post-hoc deve ser tratada com cautela e com ferramentas especiais para evitar a falta de artefatos espúrios pelas descobertas reais. O artigo da Wikipedia sobre a taxa de falsas descobertas pode fornecer informações sobre o problema.

Apenas para dar alguns exemplos:

• Se tomarmos medidas biométricas em toda a população mundial de bovinos, podemos concluir que o gado tem duas narinas. De fato, é uma análise post-hoc, mas a maior parte da biologia, vulcanologia ou história foi construída dessa maneira. A razão pela qual não descartamos o fato de o gado ter duas narinas é a evidência a favor de ser tão avassaladora.
• Coletamos dados de bezerros nascidos no ano anterior em uma determinada fazenda de gado. Percebemos que em todas as terças-feiras sob a lua cheia, mais de 50% dos bezerros recém-nascidos eram do sexo feminino - exceto nos feriados públicos naquele país ou nas terças-feiras de inverno. Se já tivéssemos feito a hipótese de que esses tipos de dias produziam mais bezerros fêmeas, poderíamos fazer um teste de hipótese e aceitar (ou rejeitar) essa hipótese. No entanto, se considerarmos que é apenas uma análise post-hoc, as evidências não serão suficientes para rejeitar um fenômeno espúrio.

Há um artigo frequentemente citado que ironicamente descarta todas as evidências de que os pára-quedas são úteis como anedóticos - o que é apenas uma classe de evidência particularmente ruim, baseada em análises post-hoc.

E para usar um bom exemplo usado pela resposta de Stephan Kolassa: algumas manchas escuras que se assemelham a um rosto em Marte podem ser rejeitadas como pareidolia, mas algo que reproduz a Última Ceia de Leonardo Da Vinci nos mínimos detalhes não pôde.

Se você não tem uma teoria que apóie suas proposições, mesmo que sua proposição seja validada, isso pode ser por coincidência e não prova nada. Por exemplo, acho que faço penico quando o sol nasce e o faz nos últimos 10 anos - com base nesses dados, uma análise post-hoc me diz que há uma relação entre fazer penico e o nascer do sol, enquanto o que existe é apenas uma coincidência. O sol não nasce porque você faz o penico ou vice-versa.

A vida é cheia de coincidências. As proposições apoiadas pela teoria eliminam tais coincidências ou pseudo-relações.

Aqui está uma intuição que você pode achar útil. Se você está entediado e conta carros, ainda precisa se lembrar de que o que vê é o resultado de algum processo aleatório. Em particular, os carros poderiam ter cores diferentes.

Portanto, se você formar a hipótese de que a cor mais frequente é o branco, talvez seja porque realmente é, mas também pode ser que a cor mais frequente seja o vermelho, mas, nesse experimento específico, o mais frequente era o branco (o que é sempre possível )

Agora, se você fizer post-hoc , testará se o branco é o mais frequente e, dado que os dados sugerem essa mesma hipótese, você pode concluir que o branco é o mais frequente ... Pelo menos, os dados nunca contradizem a hipótese (post-hoc).