Por que os valores p mais baixos não são mais evidências contra o nulo? Argumentos de Johansson 2011

Johansson (2011) em " Salve o impossível: valores-p, evidência e probabilidade " (aqui também está link para o periódico ) afirma que valores- mais $p$baixos são frequentemente considerados como evidência mais forte contra o nulo. Johansson implica que as pessoas considerariam mais forte a evidência contra o nulo se o teste estatístico desse um valor $p$ de $0.01$ , do que se o teste estatístico desse um valor $p$ de $0.45$ . Johansson lista quatro razões pelas quais o valor- $p$ não pode ser usado como evidência contra o nulo:

1. $p$ é distribuído uniformemente sob a hipótese nula e, portanto, nunca pode indicar evidências para o nulo.
2. é condicionado unicamente à hipótese nula e, portanto, não é adequado para quantificar a evidência, porque a evidência é sempre relativa no sentido de ser evidência a favor ou contra uma hipótese relativa a outra hipótese.$p$
3. designa a probabilidade de obter evidência (dado o nulo), em vez da força da evidência.$p$
4. depende de dados não observados e intenções subjetivas e, portanto, implica, dada a interpretação evidencial, que a força evidencial dos dados observados depende de coisas que não aconteceram e de intenções subjetivas.$p$

Infelizmente, não consigo entender intuitivamente o artigo de Johansson. Para mim, um valor de 0,01 indica que há menos chance do nulo ser verdadeiro do que um valor p de 0,45 . Por que os valores p mais baixos não são evidências mais fortes contra nulo? $p$$0.01$$p$$0.45$$p$

Minha avaliação pessoal de seus argumentos:

1. Aqui ele fala sobre o uso de como evidência para o Nulo, enquanto sua tese é que p não pode ser usado como evidência contra o Nulo. Então, acho que esse argumento é amplamente irrelevante.$p$$p$
2. Eu acho que isso é um mal-entendido. O teste Fisher segue fortemente a idéia do Racionalismo Crítico de Popper, que afirma que você não pode apoiar uma teoria, mas apenas criticá-la. Portanto, nesse sentido, existe apenas uma hipótese (o Nulo) e você simplesmente verifica se seus dados estão de acordo com eles.$p$
3. Eu discordo aqui. Depende da estatística do teste, mas é geralmente uma transformação de um tamanho de efeito que fala contra o Nulo. Portanto, quanto maior o efeito, menor o valor de p - todas as outras coisas são iguais. Obviamente, para diferentes conjuntos de dados ou hipóteses, isso não é mais válido. $p$
4. Eu não estou certo que eu entendo completamente essa afirmação, mas pelo que eu pude perceber isso é menos um problema de a partir de pessoas que o usam de forma errada. O objetivo de p era ter a interpretação da frequência de longo prazo, e esse é um recurso, não um bug. Mas você não pode culpar p por pessoas que usam um único valor de p como prova de sua hipótese ou por pessoas que publicam apenas p < 0,05 . $p$$p$$p$$p$$p<.05$

Sua sugestão de usar a razão de verossimilhança como uma medida de evidência é na minha opinião uma boa (mas aqui a idéia de um fator de Bayes é mais geral), mas no contexto em que ele a traz é um pouco peculiar: primeiro ele sai os motivos dos testes nos Pescadores em que não há hipótese alternativa para calcular a razão de verossimilhança. Mas como evidência contra o Nulo é Pescador. Por isso, ele confunde Fisher e Neyman-Pearson. Segundo, a maioria das estatísticas de teste que usamos são (funções) da razão de verossimilhança e, nesse caso, p é uma transformação da razão de verossimilhança. Como Cosma Shalizi coloca:$p$$p$

entre todos os testes de um determinado tamanho , aquele com a menor probabilidade de falta, ou maior potência, tem a forma "diga 'sinal' se q ( x ) / p ( x ) > t ( s ) , caso contrário diga 'ruído' , "e que o limite t varia inversamente com s . A quantidade q ( x ) / p ( x ) é a razão de verossimilhança; o lema de Neyman-Pearson diz que, para maximizar a potência, deveríamos dizer "sinal" se for suficientemente mais provável que o ruído.$s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Aqui é a densidade no estado "sinal" ep ( x ) a densidade no estado "ruído". A medida para "suficientemente provável" iria aqui ser P ( q ( X ) / p ( x ) > t o b s | H 0 ) o qual é p . Note-se que na correcta Neyman-Pearson teste t o b s é substituído por um fixo T ( s ) tal que $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$$P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

A razão pela qual argumentos como os de Johansson são reciclados com tanta frequência parece estar relacionada ao fato de que os valores P são índices da evidência contra o nulo, mas não são medidas da evidência. A evidência tem mais dimensões do que qualquer número único pode medir e, portanto, sempre há aspectos da relação entre valores-P e evidências que as pessoas podem achar difíceis.

Revi muitos dos argumentos usados ​​por Johansson em um artigo que mostra a relação entre valores-P e funções de probabilidade e, portanto, evidencia: http://arxiv.org/abs/1311.0081 Infelizmente, esse artigo foi rejeitado três vezes, embora seus argumentos e as evidências para eles não tenham sido refutados. (Parece que é desagradável aos árbitros que têm opiniões como a de Johansson e não erradas.)

Adding to @Momo's nice answer:

Do not forget multiplicity. Given many independent p-values, and sparse non-trivial effect sizes, the smallest p-values are from the null, with probability tending to $1$ as the number of hypotheses increases. So if you tell me you have a small p-value, the first thing I want to know is how many hypotheses you have been testing.

Is Johansson talking about p-values from two different experiments? If so, comparing p-values may be like comparing apples to lamb chops. If experiment "A" involves a huge number of samples, even a small inconsequential difference may be statistically significant. If experiment "B" involves only a few samples, an important difference may be statistically insignificant. Even worse (that's why I said lamb chops and not oranges), the scales may be totally incomparable (psi in one and kwh in the other).