Benjamini e Hochberg desenvolveram o primeiro (e ainda mais utilizado, eu acho) método para controlar a taxa de falsas descobertas (FDR).

Quero começar com um monte de valores P, cada um para uma comparação diferente, e decidir quais são baixos o suficiente para serem chamados de "descoberta", controlando o FDR para um valor especificado (digamos 10%). Uma suposição do método usual é que o conjunto de comparações seja independente ou tenha "dependência positiva", mas não consigo descobrir exatamente o que essa frase significa no contexto da análise de um conjunto de valores de P.

Desde a sua pergunta e, em particular, os seus comentários a outras respostas, parece-me que você está confuso, principalmente, sobre a "grande figura" aqui, a saber: o que significa "dependência positiva" referem-se neste contexto a todos - ao contrário do que é o significado técnico da condição PRDS. Então, eu vou falar sobre o quadro geral.

A grande imagem

Imagine que você está testando hipóteses nulas e imagine que todas elas são verdadeiras. Cada um dos -Valores é uma variável aleatória; repetir repetidamente o experimento produziria um valor- cada vez, para que se possa falar sobre uma distribuição de valores- p (sob o nulo). É sabido que, para qualquer teste, uma distribuição de valores- p sob o nulo deve ser uniforme; portanto, no caso de teste multiplte, todas as distribuições N marginais de valores- p serão uniformes.N p $N$$N$ $p$$p$$p$$p$$N$$p$

Se todos os dados e todos os testes forem independentes, a distribuição conjunta N- dimensional dos valores- p também será uniforme. Isso será verdade, por exemplo, em uma situação clássica de "jujuba", quando várias coisas independentes estão sendo testadas:$N$$N$$p$

No entanto, não precisa ser assim. Qualquer par de valores- pode, em princípio, ser correlacionado, positivo ou negativamente, ou ser dependente de uma maneira mais complicada. Considere testar todas as diferenças aos pares nas médias entre quatro grupos; este é N = 4 ⋅ 3 / 2 = 6 ensaios. Cada um dos seis valores de p sozinho é distribuído uniformemente. Mas eles estão todos correlacionados positivamente: se (em uma determinada tentativa) o grupo A, por acaso, tiver uma média particularmente baixa, a comparação A vs B pode produzir um valor p baixo (isso seria um falso positivo). Mas nessa situação, é provável que A-vs-C, assim como A-vs-D, também produza p baixo$p$$N=4\cdot 3/2=6$$p$$p$$p$-valores. Portanto, os valores de são obviamente não independentes e, além disso, estão positivamente correlacionados entre si.$p$

É informalmente a que "dependência positiva" se refere.

Essa parece ser uma situação comum em vários testes. Outro exemplo seria testar as diferenças em várias variáveis ​​correlacionadas entre si. Obter uma diferença significativa em um deles aumenta as chances de obter uma diferença significativa em outro.

É difícil criar um exemplo natural em que os valores de sejam "negativamente dependentes". @ user43849 comentou nos comentários acima que é fácil para testes unilaterais:$p$

Imagine que estou testando se A = 0 e também se B = 0 em relação às alternativas unicaudais (A> 0 e B> 0). Imagine ainda que B depende de A. Por exemplo, imagine que eu queira saber se uma população contém mais mulheres que homens e também se a população contém mais ovários que testículos. O conhecimento claro do valor-p da primeira pergunta altera nossa expectativa do valor-p para a segunda. Ambos os valores p mudam na mesma direção, e isso é PRD. Mas se eu testar a segunda hipótese de que a população 2 tem mais testículos que ovários, nossa expectativa para o segundo valor p diminui à medida que o primeiro valor p aumenta. Isso não é PRD.

Mas até agora não consegui encontrar um exemplo natural com nulos de ponto.

Agora, a formulação matemática exata da "dependência positiva" que garante a validade do procedimento de Benjamini-Hochberg é bastante complicada. Como mencionado em outras respostas, a principal referência é Benjamini & Yekutieli 2001 ; eles mostram que a propriedade PRDS ("dependência de regressão positiva de cada um de um subconjunto") implica o procedimento de Benjamini-Hochberg. É uma forma descontraída da propriedade PRD ("dependência de regressão positiva"), o que significa que o PRD implica PRDS e, portanto, também implica o procedimento de Benjamini-Hochberg.

Para as definições de PRD / PRDS, consulte a resposta de @ user43849 (+1) e o artigo de Benjamini & Yekutieli. As definições são bastante técnicas e não tenho uma boa compreensão intuitiva delas. De fato, B&Y menciona vários outros conceitos relacionados: positividade total multivariada de ordem dois (MTP2) e associação positiva. De acordo com B&Y, eles estão relacionados da seguinte forma (o diagrama é meu):

$\hskip{10em}$

MTP2 implica PRD que implica PRDS que garante a correção do procedimento de BH. PRD também implica PA, mas PA PRDS.$\ne$

Ótima pergunta! Vamos recuar e entender o que Bonferroni fez e por que era necessário que Benjamini e Hochberg desenvolvessem uma alternativa.

Tornou-se necessário e obrigatório nos últimos anos executar um procedimento chamado correção de teste múltiplo. Isso se deve ao número crescente de testes sendo realizados simultaneamente com ciências de alto rendimento, especialmente em genética com o advento de estudos de associação de todo o genoma (GWAS). Desculpe minha referência à genética, pois é minha área de trabalho. Se estivermos executando 1.000.000 de testes simultaneamente em , que seria de esperar 50 , 000 falsos positivos. Isso é ridiculamente grande e, portanto, devemos controlar o nível em que a significância é avaliada. A correção de Bonferroni, ou seja, dividindo o limite de aceitação (0,05) pelo número de testes independentes ( 0,05 /$P = 0.05$$50,000$ corrige a taxa de erro familiar ( F W E R ).$(0.05/M)$$FWER$

Isto é verdade porque a FWER está relacionada com a taxa de erro de teste-sábio ( ) através da equação F W E R = 1 - ( 1 - t W E R ) M . Ou seja, 100% menos 1 subtrai a taxa de erro sábia do teste aumentada à potência do número de testes independentes executados. Assumindo que ( 1 - 0,05 ) 1 / M = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ dá , que é o valor de aceitação P ajustado para M testes completamente independentes.$TWER \approx \frac{0.05}{M}$

O problema que encontramos agora, como Benjamini e Hochberg, é que nem todos os testes são completamente independentes. Assim, a correção de Bonferroni, embora robusta e flexível, é uma sobrecorreção . Considere o caso da genética em que dois genes estão ligados em um caso chamado desequilíbrio de ligação; isto é, quando um gene tem uma mutação, é mais provável que outro seja expresso. Obviamente, estes não são testes independentes, embora na correção bonferroni sejam assumidos . É aqui que começamos a ver que dividir o valor de P por M está criando um limite artificialmente baixo por causa de testes independentes assumidos que realmente influenciam um ao outro, criando um M muito grande para a nossa situação real, onde as coisas não acontecem. é independente.

O procedimento sugerido por Benjamini e Hochberg, e aumentado por Yekutieli (e muitos outros) é mais liberal que Bonferroni e, de fato, a correção de Bonferroni é usada apenas nos maiores estudos atualmente. Isso ocorre porque, em FDR, assumimos alguma interdependência por parte dos testes e, portanto, um M que é muito grande e irrealista e se livra dos resultados com os quais, na realidade, nos importamos. Portanto, no caso de 1000 testes que não são independentes, o verdadeiro M não seria 1000, mas algo menor por causa das dependências. Assim, quando dividimos 0,05 por 1000, o limite é muito rigoroso e evita alguns testes que podem ser interessantes.

Não tenho certeza se você se importa com a mecânica por trás do controle da dependência, embora, se o faça, vinculei o artigo de Yekutieli para sua referência. Também anexarei algumas outras coisas para sua informação e curiosidade.

Espero que isso tenha ajudado de alguma forma, se eu deturpou alguma coisa, por favor me avise.

~ ~ ~

Referências

Artigo de Yekutieli sobre dependências positivas - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(consulte 1.3 - O problema.)

Explicação de Bonferroni e outras coisas interessantes - Nature Genetics reviews. Teste estatístico de poder e significância em estudos genéticos em larga escala - Pak C Sham e Shaun M Purcell

(ver caixa 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

EDITAR:

Na minha resposta anterior, não defini diretamente dependência positiva, e foi o que foi perguntado. No artigo de Yekutieli, a seção 2.2é intitulada Dependência positiva, e eu sugiro isso, pois é muito detalhado. No entanto, acredito que podemos torná-lo um pouco mais sucinto.

O artigo começa falando de dependência positiva, usando-o como um termo vago que é interpretável, mas não específico. Se você ler as provas, o que é mencionado como dependência positiva é chamado PRSD, definido anteriormente como "Dependência de regressão positiva em cada um de um subconjunto ". I 0 é o subconjunto de testes que suportam corretamente a hipótese nula (0). O PRDS é então definido como a seguir.$I_0$$I_0$

$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

$P$

Em suma, a propriedade da dependência positiva é realmente a propriedade da dependência de regressão positiva de todo o nosso conjunto de estatísticas de teste sobre o nosso conjunto de estatísticas verdadeiras de teste nulo, e controlamos um FDR de 0,05; portanto, à medida que os valores de P vão de baixo para cima (o procedimento de aumento), eles aumentam a probabilidade de fazer parte do conjunto nulo.

Minha resposta anterior nos comentários sobre a matriz de covariância não estava incorreta, apenas um pouco vaga. Espero que isso ajude um pouco mais.

Achei esta pré-impressão útil para entender o significado. Deve-se dizer que ofereço essa resposta não como especialista no tópico, mas como uma tentativa de entender a verificação e a validação da comunidade.

Obrigado à Amoeba por observações muito úteis sobre a diferença entre PRD e PRDS, consulte os comentários

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

$p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$

Editado para adicionar:

Aqui está um exemplo putativo de um sistema que não é PRDS (código R abaixo). A lógica é que, quando as amostras a e b são muito semelhantes, é mais provável que seu produto seja atípico. Suspeito que esse efeito (e não a não uniformidade dos valores de p abaixo do nulo para a (a*b), (c*d)comparação) esteja direcionando a correlação negativa nos valores de p, mas não tenho certeza. O mesmo efeito aparece se fizermos um teste t para a segunda comparação (em vez de um Wilcoxon), mas a distribuição dos valores de p ainda não é uniforme, provavelmente devido a violações da suposição de normalidade.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Benjamini e Yekutieli, em seu trabalho , fornecem alguns exemplos de como a dependência de regressão positiva (PRD) é diferente de apenas estar positivamente associada. O procedimento de controle do FDR se baseia em uma forma mais fraca de PRD, que eles chamam de PRDS (isto é, PRD em cada um de um subconjunto de variáveis).

A dependência positiva foi originalmente proposta na configuração bivariada por Lehmann , mas a versão multivariada desse conceito, conhecida como dependência de regressão positiva, é o que é relevante para vários testes.

Aqui está um trecho relevante da pág.6

$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$$h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$

$$\ldots$$

Dependência positiva, neste caso, significa que o conjunto de testes está correlacionado positivamente. A idéia, então, é que, se as variáveis ​​no conjunto de testes para as quais você tem valores P são positivamente correlacionadas, então cada uma das variáveis ​​não é independente .

Se você pensar em uma correção do valor p de Bonferroni, por exemplo, poderá garantir que a taxa de erro do tipo 1 seja inferior a 10% em relação aos 100 testes estatisticamente independentes, definindo seu limite de significância para 0,1 / 100 = 0,001. Mas, e se cada um desses 100 testes estiver correlacionado de alguma forma? Então você realmente não realizou 100 testes separados.

Em FDR, a ideia é um pouco diferente da correção de Bonferroni. A idéia é garantir que apenas uma certa porcentagem (digamos 10%) das coisas que você declara significativas sejam falsamente declaradas significativas. Se você tiver marcadores correlacionados (dependência positiva) no seu conjunto de dados, o valor de FDR será escolhido com base no número total de testes que você executa (mas o número real de testes estatisticamente independentes é menor). Dessa maneira, é mais seguro concluir que a taxa de descoberta falsa está declarando falsamente 10% ou menos dos testes no seu conjunto de valores-P.

Por favor, consulte o capítulo deste livro para uma discussão sobre dependência positiva.