[Esta resposta foi completamente reescrita de ontem.]
Primeira nomenclatura. O método Holm também é chamado de método Holm step-down , ou o método Holm-Ryan . São todos iguais. Qualquer que seja o nome usado, existem dois cálculos alternativos. O método Holm original é baseado em Bonferroni. Um método alternativo um pouco mais poderoso é baseado no Sidak, assim chamado de Holm-Sidak.
O método Holm pode ser usado para múltiplas comparações em vários contextos. Sua entrada é uma pilha de valores P. Um uso é seguir a ANOVA, comparando pares de médias enquanto corrige várias correções. Quando isso é feito, tanto quanto posso ver, é muito raro relatar intervalos de confiança (corrigidos para múltiplas comparações, também chamados de intervalos de confiança simultâneos), bem como conclusões sobre a significância estatística e os valores de P ajustados à multiplicidade.
Encontrei dois trabalhos que explicam como calcular esses intervalos de confiança, mas eles diferem.
Serlin, R. (1993). Intervalos de confiança e o método científico: um caso para Holm no intervalo. Journal of Experimental Education, 61 (4), 350-360.
Ludbrook, J. MÚLTIPLAS INFERÊNCIAS USANDO INTERVALOS DE CONFIANÇA. Farmacologia e Fisiologia Clínica e Experimental (2000) 27, 212–215
Para as comparações com os menores valores de P, os dois métodos são os mesmos (mas um usa C como o número de comparações e o outro usa m ). Mas para as comparações com valores maiores de P, os dois métodos diferem. Para a comparação com o maior valor de P, Ludbrook calcularia o IC 95% normalmente, sem correção para comparações múltiplas. Serlin usaria o mesmo ajuste para todas as comparações com um valor de P ajustado maior que 0,05 (supondo que você queira intervalos de 95%), portanto, os intervalos para as comparações com valores de P grandes seriam maiores do que os que o método Ludbrook gera.
Ambos os métodos usam a abordagem de Bonferroni, mas podem ser facilmente ajustados à abordagem de Sidak.
Alguma idéia de qual método está correto / melhor?