Como os procedimentos de FDR estimam uma taxa de descoberta falsa sem um modelo de taxas base?

9

Alguém pode explicar como os procedimentos de FDR são capazes de estimar um FDR sem um modelo / suposição da taxa básica de verdadeiros positivos?

false-discovery-rate

— user4733
fonte

5

Eu acho que é uma pergunta muito boa; muitas pessoas usam o procedimento de Benjamini-Hochberg (abreviado BH; possivelmente o procedimento mais popular para controlar o FDR) como uma caixa preta. De fato, existe uma suposição subjacente que ela faz nas estatísticas e está bem escondida na definição dos valores-p!

$P$ é distribuído uniformemente ( ) sob a hipótese nula. Às vezes pode até ser, ou seja, queseja estocticamente menor que uniforme, mas isso apenas torna os procedimentos mais conservadores (e, portanto, ainda válidos). Assim, calculando seus valores-p, usando um teste t ou realmente qualquer teste de sua escolha, você está fornecendo as informações sobre a distribuição sob a hipótese nula. $P$ $P\sim U[0,1]$ $\Pr[P\leq t] \leq t$ $P$

Mas observe aqui que eu continuei falando sobre a hipótese nula; portanto, o que você mencionou sobre o conhecimento da taxa básica de verdadeiros positivos não é necessário, você precisa apenas do conhecimento da taxa básica de falsos positivos! Por que é isso?

Deixe denotar o número de todas as hipóteses (positivas) rejeitadas e os falsos positivos, então: $R$ $V$

FDR = E [\frac{V}{max (R, 1)}] \approx \frac{E [V]}{E [R]}

$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$

Portanto, para estimar o FDR, é necessário estimar , . Vamos agora examinar as regras de decisão que rejeitam todos os valores de p . Para deixar isso claro na notação, também escreverei para as quantidades correspondentes / variáveis aleatórias de tal procedimento. $\mathbb E[R]$ $\mathbb E[V]$ $\leq t$ $FDR(t),R(t),V(t)$

Como é apenas a expectativa do número total de rejeições, você pode calculá-lo de forma imparcial pelo número de rejeições que observar, então , ou seja, simplesmente contando quantos dos seus valores de p são . $\mathbb E[R(t)]$ $\mathbb E[R(t)] \approx R(t)$ $\leq t$

Agora, e quanto a ? Bem, suponha que de suas hipóteses totais sejam hipóteses nulas; em seguida, pela uniformidade (ou sub uniformidade) dos valores-p abaixo do nulo, você obtém: $\mathbb E[V]$ $m_0$ $m$

E [V (t)] = \sum_{i null} Pr [P_{i} \leq t] \leq m_{0} t

$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$

Mas ainda não sabemos , mas sabemos que , portanto, um limite superior conservador seria apenas . Portanto, como precisamos apenas de um limite superior para o número de falsos positivos, basta sabermos sua distribuição! E é exatamente isso que o procedimento BH faz. $m_0$ $m_0 \leq m$ $\mathbb E[V(t)] \leq m t$

Portanto, enquanto o comentário de Aarong Zeng de que "o procedimento BH é uma maneira de controlar o FDR no nível especificado q. Não se trata de estimar o FDR" não é falso, mas também é altamente enganador! O procedimento BH realmente faz estimar o FDR para cada dado limiar . E então escolhe o maior limite, de modo que o FDR estimado esteja abaixo de . De fato, o "valor p ajustado" da hipótese é essencialmente apenas uma estimativa do FDR no limiar (até a isotonização). Eu acho que o algoritmo BH padrão esconde um pouco esse fato, mas é fácil mostrar a equivalência dessas duas abordagens (também chamado de "teorema da equivalência" na literatura de testes múltiplos). $t$ $\alpha$ $i$ $t=p_i$

Como observação final, existem métodos, como o procedimento de Storey, que estimam partir dos dados; isso pode aumentar a potência um pouquinho. Também em princípio, você está certo, também se pode modelar a distribuição sob a alternativa (sua verdadeira taxa básica positiva) para obter procedimentos mais poderosos; mas até agora a pesquisa de múltiplos testes se concentrou principalmente em manter o controle do erro do tipo I em vez de maximizar o poder. Uma dificuldade também seria que, em muitos casos, cada uma de suas alternativas verdadeiras terá uma distribuição alternativa diferente (por exemplo, poder diferente para hipóteses diferentes), enquanto sob o nulo todos os valores p têm a mesma distribuição. Isso dificulta ainda mais a modelagem da verdadeira taxa positiva. $m_0$

— ar
fonte

3

+1 Presumivelmente "BH" refere-se a Benjamini-Hochberg . (É sempre uma boa idéia soletrar siglas, para que as pessoas não entendam.) Bem-vindo ao nosso site!

— whuber

11

Obrigado! Também sim, você está certo, editei meu post para refletir isso.

— Ar

4

Conforme sugerido por @air, o procedimento de Benjamini-Hochberg (BH) garante o controle de FDR. Não tem como objetivo estimar isso. Portanto, requer uma mera suposição de dependência fraca entre as estatísticas de teste. [1,2]

Os métodos que visam estimar o FDR [por exemplo, 3,4,5] exigem algumas suposições sobre o processo generativo para estimar. Eles normalmente assumem que as estatísticas de teste são independentes. Eles também assumirão algo na distribuição nula das estatísticas de teste. Partidas dessa distribuição nula, juntamente com a suposição de independência, podem, portanto, ser atribuídas aos efeitos, e o FDR pode ser estimado.

Observe que essas idéias reaparecem na literatura semi-supervisionada de detecção de novidades. [6]

[1] Benjamini, Y. e Y. Hochberg. "Controlando a taxa de falsas descobertas: uma abordagem prática e poderosa para vários testes". REVISTA JURÍDICA-REAL ESTATÍSTICA DA SOCIEDADE B 57 (1995): 289–289.

[2] Benjamini, Y. e D. Yekutieli. "O controle da taxa de falsas descobertas em vários testes sob dependência". ANAIS DE ESTATÍSTICA 29, no. 4 (2001): 1165-88.

[3] Storey, JD "Uma abordagem direta às taxas de falsas descobertas". Jornal da Sociedade Estatística Real Série B 64, no. 3 (2002): 479–98. doi: 10.1111 / 1467-9868.00346.

[4] Efron, B. "Microarrays, Bayes empírico e o modelo de dois grupos". Ciência Estatística 23, n. 1 (2008): 1–22.

[5] Jin, Jiashun e T. Tony Cai. “Estimando o nulo e a proporção de efeitos não nulos em comparações múltiplas em larga escala.” Jornal da Associação Estatística Americana 102, no. 478 (1 de junho de 2007): 495–506. doi: 10.1198 / 016214507000000167.

[6] Claesen, Marc, Jesse Davis, Frank De Smet e Bart De Moor. “Avaliando classificadores binários usando apenas dados positivos e não rotulados.” arXiv: 1504.06837 [cs, Stat], 26 de abril de 2015. http://arxiv.org/abs/1504.06837 .

— JohnRos
fonte

11

+1 embora meu ponto principal deste número era de que o procedimento BH realmente faz sugerir uma maneira de estimar o FDR (embora um pouco conservadora) e na verdade faz estimam que para chegar ao limiar de rejeição final. Sua definição algorítmica como um procedimento de intensificação na referência [1] obscurece isso, mas no final do dia a estimativa de FDR é exatamente o que o procedimento de BH faz !! (Efron costuma dizer isso, mas também vê a Seção 4. "Uma conexão entre as duas abordagens" em sua referência [3].)

— air

2

p_{0} = 1

$p_0=1$

0

Quando o verdadeiro modelo subjacente é desconhecido, não podemos calcular o FDR, mas podemos estimar o valor do FDR pelo teste de permutação . Basicamente, o procedimento de teste de permutação é apenas fazer o teste de hipótese várias vezes, alterando o vetor de variável de resultado com suas permutações. Isso também pode ser feito com base nas permutações das amostras, mas não tão comum quanto a anterior.

O artigo aqui revisa o procedimento padrão de permutação para estimativa de FDR e também propôs um novo estimador de FDR. Deverá poder responder à sua pergunta.

— Aaron Zeng
fonte

3

O procedimento mais comum como BH não utiliza teste de permutação. O que ele usa? Além disso, os testes de permutação geralmente fornecem uma distribuição abaixo do nulo, uma estimativa de FDR não exige modelos de nulo e alternativa, bem como a proporção relativa subjacente de cada um?

— user4733

q

$q$