Correção para testes múltiplos em um número modesto de testes (10-20) com FDR?

A taxa de descoberta falsa (Benjamini-Hochberg) é normalmente usada em 'Big Data', como estudos genéticos usando centenas de testes. Mas também pode ser usado em números menores de testes? Por exemplo, observando os resultados de dois grupos (homens versus mulheres) em, digamos, 10 a 20 questionários diferentes. O procedimento FDR perde valor / significado / poder nesses casos?

multiple-comparisons small-sample false-discovery-rate

— Incógnito
fonte

Vejo pessoas confundindo isso o tempo todo, também neste fórum. Eu acho que isso é causado em grande parte porque, na prática, o procedimento de Benjamini-Hochberg é usado como sinônimo da Taxa de Descobertas Falsas (e como uma caixa preta para "ajustar" os valores de p, conforme solicitado pelos revisores para seus trabalhos). É preciso separar claramente o conceito de FDR do método de Benjamini-Hochberg. O primeiro é um erro generalizado do tipo I, enquanto o segundo é um procedimento de teste múltiplo que controla esse erro. Isso é muito análogo, por exemplo, ao procedimento de FWER e Bonferroni.

De fato, não há razão imediata para que o número de hipóteses seja importante quando você deseja usar os métodos de controle de FDR. Depende apenas do seu objetivo. Em particular, suponha que você esteja testando hipóteses e seu procedimento rejeite delas com rejeições falsas. $m$ $R$ $V$

$= \Pr[V \geq 1]$ $\text{FDR}$ $R$

FDR = E [\frac{V}{max R, 1}]

$\text{FDR} = \mathbb E\left[\frac{V}{\max{R,1}}\right]$

Assim, a resposta à sua pergunta depende completamente do que você deseja alcançar e não há uma razão intrínseca para que pequeno seja problemático. Apenas para ilustrar um pouco mais: o exemplo de análise de dados no artigo seminal de Benjamini-Hochberg, de 1995, incluía hipóteses e, é claro, também é válido para esse caso! $m$ $m=15$

Obviamente, há uma ressalva na minha resposta: o procedimento BH só ficou popular depois que conjuntos de dados "maciços" (por exemplo, Microarrays) começaram a se tornar disponíveis. E, como você mencionou, é normalmente usado para esse aplicativo "Big Data". Mas isso ocorre apenas porque nesses casos o como critério faz mais sentido, por exemplo, porque é escalável e adaptável e facilita a pesquisa exploratória. O FWER, por outro lado, é muito rigoroso, conforme exigido por estudos clínicos etc., e o pune demais por explorar muitas opções simultaneamente (ou seja, não é adequado para trabalhos exploratórios). $\text{FDR}$

Agora, vamos supor que você tenha decidido que o FDR é o critério apropriado para sua aplicação. Benjamini Hochberg é a escolha certa para controlar o FDR quando o número de hipóteses é baixo? Eu diria que sim, pois é estatisticamente válido também para baixos . Mas para baixo, você poderia, por exemplo, também usar outro procedimento, o procedimento de Benjamini e Liu , que também controla o FDR. De fato, os autores sugerem seu uso (acima de Benjamini-Hochberg) quando $m$ $m$ $m \leq 14$ e a maioria das hipóteses deve ser falsa. Então você vê que existem opções alternativas para o controle de FDR! Na prática, eu ainda usaria BH apenas porque está muito bem estabelecido e porque os benefícios do uso de Benjamini-Liu serão marginais na maioria dos casos, se é que existem.

Em uma nota final relacionada, existem de fato alguns procedimentos de controle de FDR que você não deve usar por ! Isso inclui todos os procedimentos baseados em local-fdr, por exemplo, conforme implementado nos pacotes R "fdrtool" e "locfdr". $m$

— ar
fonte

Se estou entendendo isso corretamente, você poderia teoricamente fazer um cálculo legítimo de FDR para m = 1 (seria equivalente ao valor-p). Isso está correto? Antes de ler sua resposta, pensei que você não poderia usar o FDR em amostras pequenas, porque não era possível calcular significativamente o número de "falsos positivos" esperados ... mas esse não é o caso, não é?

— Adam.r 04/04/19