Bonferroni ou Tukey? Quando o número de comparações se torna grande?

Descobrindo estatísticas de Reading Field usando o SPSS (3ª edição) Fiquei impressionado com os testes post-hoc na ANOVA. Para aqueles que desejam controlar a taxa de erro do tipo I, ele sugere Bonferroni ou Tukey e diz (p. 374):

Bonferroni tem mais poder quando o número de comparações é pequeno, enquanto Tukey é mais poderoso ao testar um grande número de médias.

Onde a linha deve ser traçada entre um número pequeno e grande de meios?

— Parbury
fonte

Na parte inferior da seguinte página Web do NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm,it é recomendado que ambos os testes devem ser pré-formada e o menor dos dois intervalos de ser tomadas. Eu encontrei comentários semelhantes em Johnson e Wichern sobre fazer MANOVA.

— Schenectady

@schenectady Boa resposta! Por que você não cola em uma resposta? BTW, o link está corrompido no seu comentário; o correto é itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Primeiro, um breve ponto: o poder está diretamente relacionado à taxa de erro do tipo II, não ao tipo I. Agora, perdoe-me, mas vou emitir algumas opiniões. O que você está fazendo pode ser visto como "jogo do sistema", tentando manipulá-lo para que mais resultados sejam classificados como sig. ou não.? Esses julgamentos binários são muito menos informativos e potencialmente muito mais enganosos do que os relatórios dos tamanhos reais dos efeitos - no seu caso, em relação às diferenças de grupo entre os meios. Eu gosto de ver as pessoas usarem valores- p para decorar os resultados em vez de estruturá-los. Fim do editorial - discuta!

— Rolando2

"Na parte inferior da seguinte página da Web do NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , é recomendável que ambos os testes sejam pré-realizados e o menor dos dois intervalos seja realizado Encontrei comentários semelhantes em Johnson e Wichern sobre a execução de MANOVA. - @schenectady 11/11/11 às 12:31 "Isso é considerado mineração de dados e não deve ser feito. A escolha de tukey vs. Bonferroni deve ser feita antes da análise.

A documentação on-line do Minitab parece oferecer conselhos semelhantes support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

Além do link útil mencionado nos comentários de @schenectady.

Eu também acrescentaria que a correção de Bonferroni se aplica a uma classe mais ampla de problemas. Tanto quanto sei, o HSD de Tukey é aplicado apenas a situações em que você deseja examinar todas as possíveis comparações pareadas, enquanto a correção de Bonferroni pode ser aplicada a qualquer conjunto de testes de hipóteses.

Em particular, a correção de Bonferroni é útil quando você tem um pequeno conjunto de comparações planejadas e deseja controlar a taxa de erro Tipo I familiar. Isso também permite comparações compostas. Por exemplo, você tem uma ANOVA de 6 direções e deseja comparar a média dos grupos 1, 2 e 3 com o grupo 4 e deseja comparar o grupo 5 com 6.

Para ilustrar melhor, você pode aplicar a correção de Bonferroni para avaliar a significância das correlações em uma matriz de correlação ou o conjunto de efeitos principais e de interação em uma ANOVA. No entanto, essa correção normalmente não é aplicada, presumivelmente pelo motivo de a redução na taxa de erro do Tipo I resultar em uma redução inaceitável na potência.

— Jeromy Anglim
fonte

só fique curioso se você tiver uma citação para: "No entanto, essa correção normalmente não é aplicada, provavelmente pelo motivo de a redução na taxa de erro do Tipo I resultar em uma redução inaceitável no poder". Muito obrigado!

Bem vindo ao site. Isso deve ser postado como um comentário, não como uma resposta.

— Peter Flom - Restabelece Monica

@Jessica. Não, não tenho uma citação para essa reivindicação. Mas é muito fácil mostrar através de simulação, fórmulas ou mesmo apenas um conhecimento básico dos fatores que afetam o poder estatístico (ou seja, esses fatores incluem alfa).

— amigos estão dizendo sobre jerry anglim