Meu entendimento é que uma análise de poder é post hoc se, e somente se, usar o tamanho do efeito observado como o tamanho do efeito da população-alvo.
Meu entendimento é que uma análise de poder é post hoc se, e somente se, usar o tamanho do efeito observado como o tamanho do efeito da população-alvo.
Respostas:
No meu campo, vejo pessoas fazendo análises de poder post-hoc quando o objetivo do artigo é mostrar que algum efeito que se poderia esperar estar presente (seja por causa da literatura anterior, bom senso, etc.) não é, pelo menos de acordo com para algum teste de significância.
No entanto, nessas situações, o pesquisador está um pouco confuso - ele ou ela pode ter obtido um resultado não significativo porque o efeito realmente não está presente na população ou porque o estudo não foi suficientemente potente para detectar a efeito mesmo que estivesse presente. O objetivo da análise de poder, então, é mostrar que, dado um efeito trivialmente pequeno na população, o estudo teria uma alta probabilidade de detectar esse efeito.
Para um exemplo concreto desse uso da análise de energia post-hoc, consulte este documento vinculado.
Você sempre pode calcular a probabilidade de um estudo produzir um resultado significativo para um determinado tamanho de efeito a priori. Em teoria, isso deve ser feito antes da realização de um estudo, porque não faz sentido realizar um estudo com baixa potência e com baixa chance de produzir um resultado significativo quando um efeito está presente. No entanto, você também pode calcular a energia após o estudo para perceber que um estudo tinha baixa energia ou, improvável, alta energia para detectar até mesmo um pequeno efeito.
O termo potência observada post-hoc ou observada é usado para análise de potência que usa tamanhos de efeito observados em uma amostra para calcular a potência sob a suposição de que o tamanho do efeito observado é uma estimativa razoável do tamanho real do efeito. Muitos estatísticos apontaram que o poder observado em um único estudo não é muito informativo porque os tamanhos dos efeitos não são estimados com precisão suficiente para serem informativos. Mais recentemente, os pesquisadores começaram a examinar o poder observado de um conjunto de estudos para examinar quão poderosos são os estudos em média e se os estudos relatam resultados mais significativos do que o poder real dos estudos justificaria.