Sidak ou Bonferroni?

Estou usando um modelo linear generalizado no SPSS para observar as diferenças no número médio de lagartas (não normais, usando a distribuição Tweedie) em 16 espécies diferentes de plantas.

Quero executar várias comparações, mas não tenho certeza se devo usar um teste de correção Sidak ou Bonferroni. Qual é a diferença entre os dois testes? Um é melhor que o outro?

Se você executar testes estatísticos independentes usando α como seu nível de significância, e o nulo for obtido em todos os casos, se você encontrará ou não 'significância' é simplesmente um empate de uma variável aleatória. Especificamente, é retirado de uma distribuição binomial com p = α e n = k . Por exemplo, se você planeja executar 3 testes usando α = 0,05 e (sem o seu conhecimento), na verdade, não há diferença em cada caso, então há 5% de chance de encontrar um resultado significativo em cada teste. Dessa forma, a taxa de erro do tipo I é mantida em $k$$\alpha$$p=\alpha$$n=k$$\alpha=.05$$\alpha$ para os testes individualmente, mas no conjunto de 3 testes a taxa de erro tipo I a longo prazo será maior. Se você acredita que é significativo agrupar / pensar nesses três testes, convém manter a taxa de erro do tipo I em para o conjunto como um todo.$\alpha$ , em vez de apenas individualmente. Como você deve fazer isso? Existem duas abordagens centradas na mudança do original (ou seja, α o ) para um novo valor (ie, α n e w ):$\alpha$$\alpha_o$$\alpha_{\rm new}$

Bonferroni: ajuste o usado para avaliar a 'significância' de modo que$\alpha$

Dunn-Sidak: ajuste usando$\alpha$

(Observe que o Dunn-Sidak assume que todos os testes no conjunto são independentes um do outro e poderia gerar inflação de erro tipo I familiarmente se essa suposição não se mantiver.)

É importante observar que, ao realizar testes, existem dois tipos de erros que você quer evitar, Tipo I (ou seja, dizendo que não é uma diferença quando não há um) e tipo II (ou seja, dizendo que não é uma diferença quando realmente existe). Normalmente, quando as pessoas discutem esse tópico, elas apenas discutem - e parecem estar cientes / preocupadas com - erros do tipo I. Além disso, as pessoas geralmente esquecem de mencionar que a taxa de erro calculada só será válida se todos os nulos forem verdadeiros. É trivialmente óbvio que você não pode cometer um erro do tipo I se a hipótese nula for falsa, mas é importante ter esse fato explicitamente em mente ao discutir esse problema.

Eu trago isso à tona porque existem implicações desses fatos que parecem muitas vezes ignoradas. Primeiro, se , a abordagem Dunn-Sidak oferecerá maior potência (embora a diferença possa ser bastante pequena com k pequeno ) e, portanto, sempre será a preferida (quando aplicável). Em segundo lugar, deve ser usada uma abordagem de " abaixamento " . Ou seja, teste primeiro o maior efeito; se você está convencido de que o nulo não obtém nesse caso, o número máximo possível de erros do tipo I é de$k>1$$k$ ; portanto, o próximo teste deve ser ajustado de acordo e assim por diante. (Isso muitas vezes faz as pessoas desconfortáveis e olhares como a pesca, mas énão$k-1$pesca, pois os testes são independentes e você pretendia conduzi-los antes de ver os dados. Essa é apenas uma maneira de ajustar ideal.) $\alpha$

O acima exposto não importa como você valoriza o tipo I em relação aos erros do tipo II. No entanto, a priori, não há razão para acreditar que os erros do tipo I sejam piores que o tipo II (apesar de todos parecerem supor isso). Em vez disso, é uma decisão que deve ser tomada pelo pesquisador e deve ser específica para essa situação. Pessoalmente, se estou executando contrastes ortogonais sugeridos teoricamente, a priori , geralmente não ajusto .$\alpha$

(E, para declarar isso de novo, porque é importante, tudo isso pressupõe que os testes sejam independentes. Se os contrastes não forem independentes, como quando vários tratamentos estão sendo comparados ao mesmo controle, uma abordagem diferente de $\alpha$ ajuste , como o teste de Dunnett, deve ser usado.)

$\alpha^*$$\alpha$$n$$\alpha^*=\alpha/n$. Sidak works like this (if the test are independent): $\alpha^*=1 − (1 − \alpha)^{1/n}$.

Because $\alpha/n < 1 − (1 − \alpha)^{1/n}$, the Sidak correction is a bit more powerful (i.e. you get significant results more easily) but Bonferroni is a bit simpler to handle.

If you need an even more powerful procedure you might want to use the Bonferroni-Holm procedure.

The Sidak correction assumes the individual tests are statistically independent. The Bonferroni correction doesn't assume this.

Sidak and Bonferroni are so similar that you will probably get the same result regardless of which procedure you use. Bonferroni is only marginally more conservative than Sidak. For instance, for 2 comparisons and a familywise alpha of .05, Sidak would conduct each test at .0253 and Bonferroni would conduct each test at .0250.

Many commenters on this site have said that Sidak is only valid when the test statistics of your comparisons are independent. That's not true. Sidak allows slight inflation of the familywise error rate when the test statistics are NEGATIVELY dependent, but if you're doing two-sided tests, negative dependence isn't generally a concern. Under non-negative dependence, Sidak does in fact provide an upper bound on the familywise error rate. That said, there are other procedures that provide such a bound and tend to retain more statistical power than Sidak. So Sidak probably isn't the best choice.

One thing the Bonferroni procedure provides (that Sidak doesn't) is strict control of the expected number of Type I errors--the so-called "per-family error rate," which is more conservative than the familywise error rate. For more info, see: Frane, AV (2015) "Are per-family Type I error rates relevant in social and behavioral science?" Journal of Modern Applied Statistical Methods 14(1), 12-23.