Precisamos de um teste global antes dos testes post hoc?

Costumo ouvir que testes post hoc após uma ANOVA só podem ser usados se a própria ANOVA for significativa.

No entanto, testes post hoc ajustam os valores de para manter a taxa de erro global do tipo I em 5%, não é? $p$
Então, por que precisamos primeiro do teste global?
Se não precisamos de um teste global, a terminologia "post hoc" está correta?
Ou existem vários tipos de testes post hoc, alguns assumindo um resultado global significativo e outros sem essa suposição?

anova statistical-significance post-hoc

— até
fonte

Respostas:

Como vários testes de comparação costumam ser chamados de 'pós-testes', você acha que eles seguem logicamente a ANOVA de mão única. De fato, não é assim.

" Uma prática comum infeliz é buscar comparações múltiplas somente quando a hipótese de homogeneidade do casco é rejeitada " ( Hsu, página 177 )

Os resultados dos pós-testes serão válidos se o valor geral de P para a ANOVA for maior que 0,05?

Surpreendentemente, a resposta é sim. Com uma exceção, os pós-testes são válidos mesmo que a ANOVA geral não tenha encontrado uma diferença significativa entre as médias.

A exceção é o primeiro teste de comparação múltipla inventado, o teste de diferença mínima significativa de Fisher (LSD). A primeira etapa do teste de LSD protegido é verificar se a ANOVA geral rejeita a hipótese nula de médias idênticas. Caso contrário, comparações individuais não devem ser feitas. Mas esse teste de LSD protegido está obsoleto e não é mais recomendado.

É possível obter um resultado "significativo" de um teste de comparações múltiplas, mesmo quando a ANOVA geral não foi significativa?

Sim, é possível. A exceção é o teste de Scheffe. Está entrelaçado com o teste F geral. Se a ANOVA geral tiver um valor de P superior a 0,05, o teste de Scheffe não encontrará pós-testes significativos. Nesse caso, executar pós-testes após uma ANOVA geral não significativa é uma perda de tempo, mas não leva a conclusões inválidas. Mas outros testes de comparação múltipla podem encontrar diferenças significativas (às vezes), mesmo quando a ANOVA geral não mostrou diferenças significativas entre os grupos.

Como posso entender a aparente contradição entre uma ANOVA dizendo, com efeito, que todos os meios de grupo são idênticos e um pós-teste encontrou diferenças?

A ANOVA unidirecional geral testa a hipótese nula de que todos os grupos de tratamento têm valores médios idênticos; portanto, qualquer diferença que você observe é devido a amostragem aleatória. Cada pós-teste testa a hipótese nula de que dois grupos específicos têm médias idênticas.

Os pós-testes são mais focados, portanto, têm poder para encontrar diferenças entre os grupos, mesmo quando a ANOVA geral relata que as diferenças entre as médias não são estatisticamente significativas.

Os resultados da ANOVA geral são úteis?

A ANOVA testa a hipótese nula geral de que todos os dados são provenientes de grupos com médias idênticas. Se essa é sua pergunta experimental - os dados fornecem evidências convincentes de que os meios não são todos idênticos -, então a ANOVA é exatamente o que você deseja. Mais frequentemente, suas perguntas experimentais são mais focadas e respondidas por vários testes de comparação (pós-testes). Nesses casos, você pode ignorar com segurança os resultados gerais da ANOVA e pular direto para os resultados do pós-teste.

Observe que todos os cálculos de comparação múltipla usam o resultado do quadrado médio da tabela ANOVA. Portanto, mesmo que você não se importe com o valor de F ou P, os pós-testes ainda exigem que a tabela ANOVA seja computada.

— Harvey Motulsky
fonte

Esta é uma ótima resposta Harvey - obrigado por escrevê-la!

— Pmgjones

(+1) Os dois parágrafos finais fornecem um bom contexto para a compreensão e apreciação de toda a resposta.

— whuber

Excelente resposta e adicionarei algumas citações de Maxwell e Delaney (2004): "... esses métodos [por exemplo, Bonferroni, Tukey, Dunnet, etc.] devem ser vistos como substitutos do teste de ônibus, porque controlam o alfaEW em você requerer um teste omnibus significativo antes de prosseguir para executar qualquer uma dessas análises, como às vezes é feito, serve apenas para diminuir o alfaEW abaixo do nível desejado (Bernhardson, 1975) e, portanto, diminuir inadequadamente o poder "(p. 236) .

— Dfife

Eu gosto de "ter poder para encontrar diferenças entre os grupos ..."

— SmallChess 27/10/2015

Embora não esteja em questão, acho que devo mencionar - já que pode não ser óbvio - que a situação inversa também é possível em algumas situações (que um teste omnibus rejeita, mas nenhuma comparação em pares o faz)

— Glen_b

(1) Os testes post hoc podem ou não atingir a taxa de erro nominal global do tipo I, dependendo de (a) se o analista está ajustando o número de testes e (b) até que ponto os testes post-hoc são independentes de um outro. A aplicação de um teste global primeiro é uma proteção bastante sólida contra o risco de (mesmo que inadvertidamente) descobrir resultados "significativos" espúrios de bisbilhoteiros post-hoc .

(2) Há um problema de poder. É sabido que um teste F ANOVA global pode detectar uma diferença de médias, mesmo nos casos em que nenhum teste t individual de qualquer um dos pares de médias produzirá um resultado significativo. Em outras palavras, em alguns casos, os dados podem revelar que os meios verdadeiros provavelmente diferem, mas não conseguem identificar com confiança suficiente quais pares de médias diferem.

— whuber
fonte

Re (2): quando você diz que uma ANOVA unidirecional pode relatar uma diferença significativa quando nenhum dos testes t emparelhados o faz, você se refere a simples não ajustado ("non post", por exemplo, não o procedimento de Tukey ou qualquer coisa) testes t? Eu pensei que isso nunca seria possível, eu estava errado?

— ameba diz Restabelecer Monica

@amoeba Isso mesmo; Estou me referindo a testes pareados não ajustados. Obrigado por esclarecer este ponto.

— whuber

Obrigado, @whuber. Tentei encontrar uma discussão sobre esse ponto aqui no CrossValidated, mas sem sucesso. Então, postei minha própria pergunta sobre como é possível uma situação dessas : stats.stackexchange.com/questions/83030/… . Ficaria muito grato se você pudesse elaborar lá!

— ameba diz Restabelecer Monica

@amoba e @whuber: Você provavelmente sabe disso, mas eu gostaria de esclarecer de qualquer maneira. Observe que é possível que o teste ANOVA seja significativo, mesmo que nenhum dos testes HSD de Tukey seja. Exemplo simples de R com um conjunto de dados balanceado com três grupos:

set.seed(249);  group = rep(1:3, each=2); y = group + rnorm(6); mod = aov(y~factor(group)); summary(mod); TukeyHSD(mod); plot(y~group)

— Karl Ove Hufthammer

Bem, você não poderia ao menos supor que havia uma diferença entre as duas médias com a maior diferença entre elas, uma vez que a hipótese nula da ANOVA é que pelo menos um par de médias difere uma da outra?

— Speldosa