O valor p também é a taxa de descoberta falsa?

Em http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) , afirma

Por exemplo, se tivermos um valor p de 0,05 e concluirmos que é significativo, a probabilidade de uma descoberta falsa é, por definição, 0,05.

Minha pergunta: sempre achei que a descoberta falsa é um erro do tipo I, que é igual aos níveis de significância escolhidos na maioria dos testes. Valor-P é o valor calculado a partir da amostra. De fato, a Wikipedia afirma

O valor p não deve ser confundido com o nível de significância na abordagem Neyman – Pearson ou a taxa de erro tipo I [taxa de falsos positivos] " $\alpha$

Então, por que o artigo vinculado afirma que a taxa de erro do tipo I é fornecida pelo valor-p?

— Olá Mundo
fonte

O valor de de Fisher e a taxa de erro Tipo I são incompatíveis de acordo com o seguinte artigo: Hubbard, Bayarri (2012): Confusão sobre medidas de evidência ( 's) versus erros ( ') em testes estatísticos clássicos . Além disso, dê uma olhada neste post aqui no site.

p

$p$

α

$\alpha$

p

$p$

α

$\alpha$

— precisa

@ COOL Esse é um artigo muito controverso para citar. Basta dar uma olhada no início da discussão que se segue na última página. Parece-me que os autores - deliberadamente ou inconscientemente - interpretam mal muitos dos estatísticos que eles criticam por serem tão ignorantes e errados.

— whuber

@whuber Essa também foi minha impressão quando li o jornal. Você conhece um artigo, livro ou publicação que ofereça um tratamento mais benigno desse assunto?

— amigos estão dizendo sobre lucas

@COOL Existem tantos que nem consigo mais acompanhá-los.

— whuber

O artigo vinculado no surveyanalysis.org é lixo e a citação está totalmente errada.

— Ameba

Respostas:

Sua taxa de descoberta falsa não depende apenas do limite do valor-p, mas também da verdade. De fato, se sua hipótese nula estiver realmente errada, é impossível fazer uma descoberta falsa.

Talvez seja útil pensar assim: o limiar do valor-p é a probabilidade de fazer descobertas falsas quando não há descobertas verdadeiras a serem feitas (ou, em outras palavras, se a hipótese nula for verdadeira).

Basicamente,

Taxa de erro do tipo 1 = "Probabilidade de rejeitar o nulo se for verdadeiro" = limite do valor p

Taxa de erro do tipo 1 = taxa de descoberta falsa SE a hipótese nula for verdadeira

está correto, mas observe a condicional no verdadeiro nulo. A taxa de descoberta falsa não tem esse condicional e, portanto, depende da verdade desconhecida de quantas de suas hipóteses nulas estão realmente corretas ou não.

Também vale a pena considerar que, quando você controla a taxa de descoberta falsa usando um procedimento como Benjamini-Hochberg, nunca é possível estimar a taxa de descoberta realmente falsa, mas controla-a estimando um limite superior. Para fazer mais, você realmente precisa ser capaz de detectar que a hipótese nula é verdadeira usando estatísticas, quando você só pode detectar violações de uma certa magnitude (dependendo do poder do seu teste).

— Erik
fonte

"Uma descoberta falsa, erro Tipo I e falso positivo são todos equivalentes. Enquanto a taxa de falso positivo e a taxa de erro de Tipo I são iguais, a taxa de descoberta falsa é uma quantidade totalmente diferente." Uma definição de FDR pode ser encontrada aqui .

— Randel 21/03

Certamente quando a hipótese nula é verdadeira (ou todas as hipóteses nulas são verdadeiras), o FDR é, por definição, 100% (100% de todas as hipóteses nulas rejeitadas são erroneamente rejeitadas).

— Björn

@ Björn O FDR é uma escolha do pesquisador, assim como o FWER. Se o FDR = 0,05 e todas as hipóteses nulas forem verdadeiras, o número esperado de descobertas falsas será de . Em nenhum lugar da literatura seminal do FDR você verá um método proposto para rejeitar todas as verdadeiras hipóteses nulas. Suspeito que você esteja confundindo as idéias " todas as hipóteses nulas verdadeiras rejeitadas são descobertas falsas" e "o FDR rejeita todas as hipóteses nulas verdadeiras".

m

$m$

0.05 m

$0.05m$

— Alexis

A diferença entre os valores de P e a taxa de falsos positivos (ou taxa de falsos descobrimentos) é explicada, claramente espero, em http://rsos.royalsocietypublishing.org/content/1/3/140216

Embora esse documento use o termo Taxa de descoberta falsa, agora prefiro Taxa de falso positivo, porque o termo anterior é frequentemente usado no contexto de correções para comparações múltiplas. Esse é um problema diferente. O artigo aponta que, para um único teste imparcial, a taxa de falsos positivos é bastante superior ao valor de P em quase todas as circunstâncias.

Há também uma descrição qualitativa da lógica subjacente em https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant

— David Colquhoun
fonte