A correção de Bonferroni é anti-conservadora / liberal demais para algumas hipóteses dependentes?

Costumo ler que a correção de Bonferroni também funciona para hipóteses dependentes. No entanto, não acho que seja verdade e tenho um contra-exemplo. Alguém pode me dizer (a) onde está o meu erro ou (b) se estou certo sobre isso.

Configurando o Exemplo de Contador

Suponha que estamos testando duas hipóteses. Seja a primeira hipótese falsa e caso contrário. Defina mesma forma. Seja os valores de p associados às duas hipóteses e Denote a função do indicador para o conjunto especificado dentro dos colchetes. $H_{1}=0$ $H_{1}=1$ $H_{2}$ $p_{1},p_{2}$ $[\![\cdot]\!]$

Para fixo defina que são obviamente densidades de probabilidade acima de . Aqui está um gráfico das duas densidades $\theta\in [0,1]$

\begin{array}{rcl} P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2 θ} [[0 \leq p_{2} \leq θ]] \\ P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 1) & = & P (p_{1}, p_{2} | H_{1} = 1, H_{2} = 0) \\ = & \frac{1}{{(1 - θ)}^{2}} [[θ \leq p_{1} \leq 1]] \cdot [[θ \leq p_{2} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1},p_{2}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2\theta}[\![0\le p_{2}\le\theta]\!]\\ P\left(p_{1},p_{2}|H_{1}=0,H_{2}=1\right) & = & P\left(p_{1},p_{2}|H_{1}=1,H_{2}=0\right)\\ & = & \frac{1}{\left(1-\theta\right)^{2}}[\![\theta\le p_{1}\le1]\!]\cdot[\![\theta\le p_{2}\le1]\!] \end{eqnarray*}$

[0, 1]^{2}

$[0,1]^{2}$

insira a descrição da imagem aqui

A marginalização gera e da mesma forma para .

\begin{array}{rcl} P (p_{1} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2} \\ P (p_{1} | H_{1} = 0, H_{2} = 1) & = & \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2}\\ P\left(p_{1}|H_{1}=0,H_{2}=1\right) & = & \frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!] \end{eqnarray*}$

p_{2}

$p_{2}$

Além disso, vamos Isso implica que

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) = \frac{2 θ}{1 + θ} \\ P (H_{2} = 1 | H_{1} = 0) & = & P (H_{1} = 1 | H_{2} = 0) = \frac{1 - θ}{1 + θ} . \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)=\frac{2\theta}{1+\theta}\\ P\left(H_{2}=1|H_{1}=0\right) & = & P\left(H_{1}=1|H_{2}=0\right)=\frac{1-\theta}{1+\theta}. \end{eqnarray*}$

\begin{array}{rcl} P (p_{1} | H_{1} = 0) & = & \sum_{h_{2} \in {0, 1}} P (p_{1} | H_{1} = 0, h_{2}) P (h_{2} | H_{1} = 0) \\ = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] \frac{2 θ}{1 + θ} + \frac{1}{2} \frac{2 θ}{1 + θ} + \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \frac{1 - θ}{1 + θ} \\ = & \frac{1}{1 + θ} [[0 \leq p_{1} \leq θ]] + \frac{θ}{1 + θ} + \frac{1}{1 + θ} [[θ \leq p_{1} \leq 1]] \\ = & U [0, 1] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0\right) & = & \sum_{h_{2}\in\{0,1\}}P\left(p_{1}|H_{1}=0,h_{2}\right)P\left(h_{2}|H_{1}=0\right)\\ & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]\frac{2\theta}{1+\theta}+\frac{1}{2}\frac{2\theta}{1+\theta}+\frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!]\frac{1-\theta}{1+\theta}\\ & = & \frac{1}{1+\theta}[\![0\le p_{1}\le\theta]\!]+\frac{\theta}{1+\theta}+\frac{1}{1+\theta}[\![\theta\le p_{1}\le1]\!]\\ & = & U\left[0,1\right] \end{eqnarray*}$ é uniforme conforme exigido para valores de p na hipótese nula. O mesmo vale para devido à simetria.

p_{2}

$p_{2}$

Para obter a distribuição conjunta calculamos $P\left(H_{1},H_{2}\right)$

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) P (H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) P (H_{2} = 0) \\ \Leftrightarrow \frac{2 θ}{1 + θ} P (H_{1} = 0) & = & \frac{2 θ}{1 + θ} P (H_{2} = 0) \\ \Leftrightarrow P (H_{1} = 0) & = & P (H_{2} = 0) := q \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right)P\left(H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)P\left(H_{2}=0\right)\\ \Leftrightarrow\frac{2\theta}{1+\theta}P\left(H_{1}=0\right) & = & \frac{2\theta}{1+\theta}P\left(H_{2}=0\right)\\ \Leftrightarrow P\left(H_{1}=0\right) & = & P\left(H_{2}=0\right):=q \end{eqnarray*}$ Portanto, a distribuição conjunta é dada por que significa que .

\begin{array}{rcl} P (H_{1}, H_{2}) & = & \begin{array}{ccc} H_{2} = 0 & H_{2} = 1 \\ H_{1} = 0 & \frac{2 θ}{1 + θ} q & \frac{1 - θ}{1 + θ} q \\ H_{1} = 1 & \frac{1 - θ}{1 + θ} q & \frac{1 + θ - 2 q}{1 + θ} \end{array} \end{array}

$\begin{eqnarray*} P\left(H_{1},H_{2}\right) & = & \begin{array}{ccc} & H_{2}=0 & H_{2}=1\\ H_{1}=0 & \frac{2\theta}{1+\theta}q & \frac{1-\theta}{1+\theta}q\\ H_{1}=1 & \frac{1-\theta}{1+\theta}q & \frac{1+\theta-2q}{1+\theta} \end{array} \end{eqnarray*}$

0 \leq q \leq \frac{1 + θ}{2}

$0\le q\le\frac{1+\theta}{2}$

Por que é um exemplo contrário

Agora vamos para o nível de significância de interesse. A probabilidade de obter pelo menos um falso positivo com o nível de significância corrigido considerando que ambas as hipóteses são falsas (por exemplo, ), é dada por porque todos os valores de e são inferiores a dado que e $\theta=\frac{\alpha}{2}$ $\alpha$ $\frac{\alpha}{2}$ $H_{i}=0$

\begin{array}{rcl} P ((p_{1} \leq \frac{α}{2}) \lor (p_{2} \leq \frac{α}{2}) | H_{1} = 0, H_{2} = 0) & = & 1 \end{array}

$\begin{eqnarray*} P\left(\left(p_{1}\le\frac{\alpha}{2}\right)\vee\left(p_{2}\le\frac{\alpha}{2}\right)|H_{1}=0,H_{2}=0\right) & = & 1 \end{eqnarray*}$

p_{1}

$p_{1}$

p_{2}

$p_{2}$

\frac{α}{2}

$\frac{\alpha}{2}$

H_{1} = 0

$H_1=0$

H_{2} = 0

$H_2=0$ por construção. A correção de Bonferroni, no entanto, alegaria que a FWER é menor que .

α

$\alpha$

— fabee
fonte

Muito boa pergunta. Eu desejo que alguém responda #

O oposto de conservador é anticonservador no mundo estatístico!

— 21416 AdamOu

Não sabia disso. Eu pensei que li liberal algumas vezes.

— fabee

consulte stats.stackexchange.com/questions/235856/…

Obrigado, mas isso é algo diferente. Você precisa de uma suposição adicional (dependência não é o problema, veja minha resposta abaixo).

— Fab23

Respostas:

Bonferroni não pode ser liberal, independentemente da dependência, se seus valores de p forem calculados corretamente.

Seja A o evento de erro do Tipo I em um teste e B seja o evento de erro do Tipo I em outro teste. A probabilidade de que A ou B (ou ambos) ocorra é:

P (A ou B) = P (A) + P (B) - P (A e B)

Como P (A e B) é uma probabilidade e, portanto, não pode ser negativa, não há como a equação produzir um valor maior que P (A) + P (B). O valor mais alto que a equação pode produzir é quando P (A e B) = 0, ou seja, quando A e B são perfeitamente dependentes negativamente. Nesse caso, você pode preencher a equação da seguinte forma, assumindo nulos verdadeiros e um nível alfa ajustado por Bonferroni de 0,025:

P (A ou B) = P (A) + P (B) - P (A e B) = 0,025 + 0,025 - 0 = 0,05

Sob qualquer outra estrutura de dependência, P (A e B)> 0, então a equação produz um valor ainda menor que 0,05. Por exemplo, sob dependência positiva perfeita, P (A e B) = P (A); nesse caso, você pode preencher a equação da seguinte maneira:

P (A ou B) = P (A) + P (B) - P (A e B) = 0,025 + 0,025 - 0,025 = 0,025

Outro exemplo: sob independência, P (A e B) = P (A) P (B). Conseqüentemente:

P (A ou B) = P (A) + P (B) - P (A e B) = 0,025 + 0,025 - 0,025 * .025 = 0,0494

Como você pode ver, se um evento tem uma probabilidade de 0,025 e outro evento também tem uma probabilidade de 0,025, é impossível que a probabilidade de "um ou ambos" seja maior que 0,05, porque é impossível para P ( A ou B) seja maior que P (A) + P (B). Qualquer reivindicação em contrário é logicamente sem sentido.

"Mas isso pressupõe que os dois nulos sejam verdadeiros", você pode dizer. "E se o primeiro nulo for verdadeiro e o segundo for falso?" Nesse caso, B é impossível porque você não pode ter um erro do tipo I em que a hipótese nula é falsa. Assim, P (B) = 0 e P (A e B) = 0. Então, vamos preencher nossa fórmula geral para a FWER de dois testes:

P (A ou B) = P (A) + P (B) - P (A e B) = 0,025 + 0 - 0 = 0,025

Então, mais uma vez, a FWER é <0,05. Observe que a dependência é irrelevante aqui porque P (A e B) é sempre 0. Outro cenário possível é que ambos os nulos são falsos, mas deve ser óbvio que o FWER seria então 0 e, portanto, <0,05.

— Bonferroni
fonte

Obrigado pela resposta. Li derivações como a sua muitas vezes e elas fazem sentido. No entanto, ainda não vejo o erro no meu exemplo. Se não faz sentido, onde está meu erro? Tenho a sensação de que o problema é que você considera como , mas para a FWER você está realmente interessado em . Você ainda pode ter mas . Isto é o que eu construí no meu exemplo. Seu exemplo está correto se o erro do tipo I for independente da outra hipótese.

P (A)

$P(A)$

P (A | H_{0}^{1} = T r u e)

$P(A|H_0^{1}=True)$

P (A \lor B | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e)

$P(A\vee B|H_0^{(1)}=True\wedge H_0^{(2)}=True)$

P (A | H_{0}^{(1)} = T r u e) = α

$P(A|H_0^{(1)}=True)=\alpha$

P (A | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e) > α

$P(A|H_0^{(1)}=True\wedge H_0^{(2)}=True)>\alpha$

— 25816 Fabee

A computação da FWER assume que os dois nulos são verdadeiros, portanto, P (A) significa a mesma coisa que P (A | null 1 é verdadeiro) e P (B) significa a mesma coisa que P (B | null 2 é verdadeiro). Probabilidades condicionais são, portanto, desnecessárias. Talvez você deva reescrever seu exemplo sem eles. Observe que se "todos os valores de p1 e p2 forem inferiores a α / 2, considerando que H1 = 0 e H2 = 0 por construção", você simplesmente construiu um cenário em que os valores p não são computados corretamente. Se cada p é testado em α / 2, cada p deve ter uma chance de significância α / 2 por definição, mas você aparentemente deu a cada p 100% de chance de significância.

— Bonferroni

Eu não acho que você esteja certo. Se a taxa de erro do FWER assume que os dois nulos são verdadeiros, desejo calcular P (A ou B | nulo 1 e 2 são verdadeiros). A decomposição que você escreveu na sua resposta precisa, portanto, da mesma condição no lado direito. Somente ao usar probabilidades condicionais isso fica claro. Meus valores p são calculados corretamente porque P (A | null 1 é verdadeiro) ainda é como deveria. Mas observe que P (A | null 1 é verdadeiro) geralmente não é o mesmo que P (A | null 1 e null 2 são verdadeiros).

α

$\alpha$

— 25816 Fabee

Desenhe um quadrado grande em um pedaço de papel representando o espaço total da amostra de possíveis resultados. Em seguida, desenhe um círculo que ocupa 2,5% da área do quadrado e identifique-o como A. Depois, desenhe outro círculo que ocupa 2,5% da área do quadrado e identifique-o como B. Faça A e B se sobreporem tão ou pouco como quiser (ou seja, brinque com a dependência entre A e B). Você verá que não há como a área combinada de A e B ser superior a 2,5% + 2,5% = 5%.

— Bonferroni

Parece que você está confuso sobre a probabilidade em um nível muito fundamental e ainda não está pronto para enfrentar a matemática. Assumimos que ambos os valores nulos são verdadeiros, porque essa é a situação que produz o FWER máximo. Se ambos os nulos são falsos, obviamente não pode haver nenhum erro do tipo I. E se um nulo é verdadeiro e um nulo é falso, a taxa de erro é simplesmente o nível alfa que você usa para testar o verdadeiro.

— Bonferroni

Eu acho que finalmente tenho a resposta. Preciso de um requisito adicional na distribuição de . Antes, eu exigia apenas que fosse uniforme entre 0 e 1. Nesse caso, meu exemplo está correto e Bonferroni seria muito liberal. No entanto, se eu exigir adicionalmente a uniformidade de , é fácil derivar que Bonferroni nunca pode ser muito conservador. Meu exemplo viola essa suposição. Em termos mais gerais, a suposição é que a distribuição de todos os valores de p, considerando que todas as hipóteses nulas são verdadeiras, deve ter a forma de uma cópula : conjuntamente, elas não precisam ser uniformes, mas marginalmente. $P(p_1,p_2|H_1=0, H_2=0)$ $P(p_1|H_1=0)$ $P(p_1|H_1=0, H_2=0)$

Comentário: Se alguém puder me indicar uma fonte em que essa suposição esteja claramente declarada (livro, artigo), aceitarei esta resposta.

— fabee
fonte