Quanto menores os valores de do teste da ANOVA podem ser comparados com os de vários testes nos mesmos dados?

Introdução: Tendo notado a atenção recebida hoje por esta pergunta: "A ANOVA pode ser significativa quando nenhum dos testes t emparelhados é? ", Pensei que poderia reformulá-la de uma maneira interessante que merecesse seu próprio conjunto de respostas. .

Uma variedade de resultados incongruentes (pelo valor nominal) pode ocorrer quando a significância estatística é entendida como uma dicotomia simples e julgada com base na mera base da qual é maior, o ou o . A resposta da @ Glen_b à pergunta acima apresenta um exemplo útil de um caso em que:p $p$$\alpha$

• Um teste ANOVA produz um para uma variável independente (IV) com quatro níveis, masF p F < $F$$p_F<.05$
• $p_t>.08$ para todos os testes duas amostras que comparam diferenças na mesma variável dependente (DV) entre as observações correspondentes a cada par dos quatro níveis do IV.$t$

Um caso semelhante surgiu apesar das correções de Bonferroni para comparações post-hoc aos pares através desta pergunta: as medidas repetidas da Anova são significativas, mas todas as comparações múltiplas com a correção de Bonferroni não são? Também existem casos mencionados anteriormente com um teste ligeiramente diferente em regressão múltipla:

• Por que é possível obter estatística F significativa (p <0,001), mas testes t de regressão não significativos? :$p_F<.001,p_{\beta t}>.09$
• Como uma regressão pode ser significativa, mas todos os preditores não são significativos?
  • Na resposta do @ whuber ,$p_F=.0003,p_{\beta t}>.09$

Aposto que, em casos como esses, alguns (mas não todos) os valores de comparações em pares (ou coeficientes de regressão 'testes de significância') devem estar razoavelmente próximos de se um teste omnibus correspondente puder atingir . Vejo que esse é o caso do primeiro exemplo de @ Glen_b, onde , , e a maior diferença pareada dá o menor . Este deve ser o caso em geral? Mais especificamente :p α p < $p$$\alpha$$p <\alpha$F ( 3 , 20 ) = 3,19 p F = 0,046 p t = $F_{(3,20)}=3.19$$p_F=.046$$p_t=.054$

Pergunta: Se um teste ANOVA produz um para o efeito de um IV politômico em um DV contínuo, qual o valor de mais baixo entre todos os testes duas amostras que comparam cada par dos níveis de IV? A significância pareada mínima poderia ser tão alta quanto ?F p F = 0,05 p t p t = $F$$p_F=.05$$p$$t$$p_t=.50$

_{Congratulo-me com respostas que abordam apenas esta questão específica . No entanto, para motivar ainda mais essa questão, elaborarei e colocarei algumas questões potencialmente retóricas. Sinta-se à vontade para abordar essas preocupações também e até ignorar a pergunta específica, se desejar, especialmente se a pergunta específica receber uma resposta definitiva.}

Significado: considere quão menos importante seria a diferença entre um e um se a significância estatística fosse julgada em termos contínuos da força da evidência contra a hipótese nula (a abordagem de Ron Fisher, eu acho?), em vez de em termos dicotômicos, acima ou abaixo de um limite para probabilidade aceitável de erro na escolha de rejeitar o atacado nulo. " hacking " é um problema conhecido que deve em parte sua notoriedade a uma vulnerabilidade desnecessária introduzida pela interpretação de$p_F=.04$$p_t=.06$$\alpha=.05$$p$$p$valores de acordo com a prática comum de dicotomizar a significância nos equivalentes de "bom o suficiente" e "não bom o suficiente". Se alguém dispuser essa prática e se concentrar na interpretação dos valores de como força da evidência contra o nulo em um intervalo contínuo, o teste abrangente pode ser um pouco menos importante quando se realmente se preocupa com comparações múltiplas em pares? Não é necessariamente inútil, pois qualquer melhoria razoavelmente eficiente na precisão estatística é desejável, mas ... se, por exemplo, o menor valor de da comparação pareada estiver necessariamente dentro de da ANOVA (ou outro teste omnibus)$p$$p$$.10$$p$valor, isso não torna o teste abrangente um pouco mais trivial, menos obrigatório e ainda mais enganoso (em conjunto com mal-entendidos preexistentes), especialmente se alguém não deseja controlar em vários testes?$\alpha$

Por outro lado, se existem dados de tal forma que um omnibus , mas todos em pares , isso não deve motivar ainda mais o omnibus e o teste de contraste ao longo da prática e da pedagogia? Parece-me que esta questão também deve informar os méritos relativos de julgar a significância estatística de acordo com uma dicotomia versus um continuum, em que o sistema interpretativo dicotômico deve ser mais sensível a pequenos ajustes quando as diferenças são "marginalmente significativas", enquanto nenhum sistema está protegido contra falhas na execução de um teste abrangente ou no ajuste de múltiplas comparações, se essa diferença / ajuste puder ser muito grande (por exemplo, em teoria.$p=.05$$p>.50$$p_t-p_F>.40)$

_{Outras complexidades opcionais a serem consideradas ou ignoradas - o que facilita a resposta e vale a pena :}

• ^{Qual seria o valor de s para s se, para , (por exemplo, )$p$$t$$F$$p<.05$$p=.01, .001,\dots$}
• ^{Sensibilidade ao número de níveis em um IV politômico}
• ^{Sensibilidade à irregularidade na significância das diferenças aos pares (enquanto todos )$p_t>p_F$}
  • ^{a resposta da whuber indica que a inclusão de pequenas diferenças pode mascarar grandes diferenças.}
• ^{Diferenças entre as correções de vários testes omnibus para múltiplas comparações}
  • ^{Consulte também: Corrigindo comparações múltiplas em uma ANOVA dentro de sujeitos / medidas repetidas; excessivamente conservador?}
  • ^{Com vários IVs, parece que a multicolinearidade pode exacerbar esse problema .}
• ^{Casos restritos em que os dados atendem de maneira ideal a todos os pressupostos dos testes paramétricos clássicos}
  • ^{Essa restrição pode ser importante para impedir que essa questão seja discutível.}

Assumindo n s iguais [mas veja a nota 2 abaixo] para cada tratamento em um layout unidirecional, e que o DP agrupado de todos os grupos seja usado nos testes t (como é feito nas comparações post hoc usuais), o máximo possível O valor de p para um teste t é 2 Φ ( - $n$$t$$p$$t$2 )≈.1573(aqui,Φdenota oN(0,1)cdf). Assim, nenhumptpode ser tão alto quanto0,5. Curiosamente (e um tanto bizarra), a0,1573obrigado a não detém apenas parapF=0,05, mas para qualquer nível de significância exigimos paraF.$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$$F$

A justificativa é a seguinte: Para um determinado intervalo de médias amostrais, max i , j | I y i - ˉ y j | = 2 um , o maior possível F estatística é atingida quando a metade do ˉ y i são em um extremo e a outra metade estão na outra. Isso representa o caso em que F parece o mais significativo, dado que duas médias diferem no máximo 2 a .$\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$

Assim, sem perda de generalidade, supor que ˉ y . = 0 de modo que ˉ y i = ± uma neste caso limite. E, novamente, sem perda de generalidade, suponha que M S E = 1 , pois sempre podemos redimensionar os dados para esse valor. Agora considere k significa (onde k é par pela simplicidade [mas veja a nota 1 abaixo]), temos F = ∑ n ˉ y 2 / ( k - 1 $\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$M S E =kna2k - 1 . DefinindopF=α demodo queF=Fα=Fα,k-1,k(n-1), obtemosa=$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$( k - 1 ) F αk n . Quando todo oˉyisão±um(e aindaHSE=1), cada um diferente de zerotestatística é, assim,t=2$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$1 √2 / n =√2 ( k - 1 ) F αk . Este é o menorvalormáximo detpossível quandoF=Fα.$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$$t$$F=F_\alpha$

Portanto, você pode apenas tentar casos diferentes de k e n , calcular t e seus p t associados . Mas observe que, para um dado k , F α está diminuindo em n [mas veja a nota 3 abaixo]; além disso, como n → ∞ , ( k - 1 ) F α , k - 1 , k ( n - 1 ) → χ 2 α , k - 1 ; então t $k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$t m i n = √2 χ 2 α , k - 1 / k . Observe queχ2/k= k - $t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$k χ2/(k-1)tem médiak-$\chi^2/k=\frac{k-1}k \chi^2/(k-1)$k e SDk-$\frac{k-1}k$k ⋅√2k - 1 . Assimlimk→∞tmin=$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$2 , independentemente deα, e o resultado que afirmei no primeiro parágrafo acima é obtido a partir da normalidade assintótica.$\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$$\alpha$

Porém, leva muito tempo para atingir esse limite. Aqui estão os resultados (calculados usando R) para vários valores de k , usando α = 0,05 :$k$$\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

Algumas pontas soltas ...

1. Quando k é impar: O máximo F estatística ainda ocorre quando o ˉ y i são todos ± um ; no entanto, teremos mais um em uma extremidade do intervalo que o outro, fazendo a média ± a / k , e você pode mostrar que o fator k na estatística F é substituído por k - $F$$\bar y_i$$\pm a$$\pm a/k$$k$$F$k . Isso também substitui o denominador det, tornando-o ligeiramente maior e, portanto, diminuindopt.$k-\frac 1k$$t$$p_t$
2. Desigual n s:$n$ O máximo F é ainda conseguido com a ˉ y i = ± um , com os sinais dispostos de modo a equilibrar os tamanhos de amostra como quase igualmente quanto possível. Então, a estatística F para o mesmo tamanho total da amostra N = ∑ n i será igual ou menor do que para dados balanceados. Além disso, a estatística t máxima será maior porque será a com maior n i . Portanto, não podemos obter valores maiores de p t examinando casos desequilibrados.$F$$\bar y_i = \pm a$$F$$N = \sum n_i$$t$$n_i$$p_t$
3. Uma leve correção: eu estava tão concentrado em tentar encontrar o mínimo t que negligenciei o fato de que estamos tentando maximizar p t , e é menos óbvio que um t maior com menos df não será menos significativo que um menor um com mais df. No entanto, verifiquei que esse é o caso calculando os valores para n = 2 , 3 , 4 , ... até que o df seja alto o suficiente para fazer pouca diferença. Para o caso α = 0,05 , k ≥ 3 , não vi nenhum caso em que os valores de p t não aumentassem com$t$$p_t$$t$$n=2,3,4,\ldots$$\alpha=.05, k\ge 3$$p_t$n . Note que a d f = k ( n - 1 ) de modo a possível df são k , 2 k , 3 k , ... que obter grande rápido quando k é grande. Ainda estou em terreno seguro com a reivindicação acima. Também testei α = 0,25 , e o único caso em que olimite de 0,1573 foi excedido foi k = 3 , n = 2 .$n$$df=k(n-1)$$k,2k,3k,\ldots$$k$$\alpha=.25$$.1573$$k=3,n=2$