A correção de Benjamini-Hochberg é mais conservadora à medida que o número de comparações aumenta?

Quão conservadora é a correção de testes múltiplos de Benjamini-Hochberg em relação ao número total de comparações? Por exemplo, se eu tiver uma lista de 18.000 recursos para dois grupos e executar um teste de Wilcoxon para obter um valor-p. Eu ajusto esse valor-p usando Benjamini-Hochberg e quase nada sai como significativo.

Sei que a correção de Bonferroni pode ser bastante conservadora à medida que o número de comparações aumenta, Benjamini-Hochberg tem a mesma propriedade?

Primeiro, você precisa entender que esses dois procedimentos de teste múltiplos não controlam a mesma coisa. Usando seu exemplo, temos dois grupos com 18.000 variáveis ​​observadas e você faz 18.000 testes para identificar algumas variáveis ​​que são diferentes de um grupo para outro.

• A correção de Bonferroni controla a taxa de erro Familywise , que é a probabilidade, assumindo que todas as 18.000 variáveis ​​têm distribuição idêntica nos dois grupos, que você está afirmando falsamente "aqui tenho algumas diferenças significativas". Geralmente, você decide que, se essa probabilidade for <5%, sua reivindicação será credível.

• A correção de Benjamini-Hochberg controla a taxa de descoberta falsa , ou seja, a proporção esperada de falsos positivos entre as variáveis ​​para as quais você reivindica a existência de uma diferença. Por exemplo, se com FDR controlado para 5%, 20 testes são positivos "em média" apenas 1 desses testes será um falso positivo.

Agora, quando o número de comparação aumenta ... bem, isso depende do número de hipóteses nulas marginais que são verdadeiras. Mas basicamente, com os dois procedimentos, se você tiver algumas, digamos 5 ou 10, variáveis ​​verdadeiramente associadas, você terá mais chances de detectá-las entre 100 variáveis ​​do que entre 1.000.000 de variáveis. Isso deve ser intuitivo o suficiente. Não há como evitar isso.