Recentemente, encontrei em um artigo de Klammer et al. uma declaração de que os valores-p devem ser distribuídos uniformemente. Acredito nos autores, mas não consigo entender por que é assim.

Klammer, AA, Park, CY, e Stafford Noble, W. (2009) Calibração de Estatística da Função SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106-2113.

Para esclarecer um pouco. O valor p é distribuído uniformemente quando a hipótese nula é verdadeira e todas as outras suposições são atendidas. A razão para isso é realmente a definição de alfa como a probabilidade de um erro do tipo I. Queremos que a probabilidade de rejeitar uma hipótese nula verdadeira seja alfa, rejeitamos quando o observado , a única maneira que isso acontece para qualquer valor de alfa é quando o valor-p vem de um uniforme distribuição. O objetivo de usar a distribuição correta (normal, t, f, chisq etc.) é transformar da estatística do teste em um valor-p uniforme. Se a hipótese nula for falsa, a distribuição do valor-p (espero) será mais ponderada em relação a 0.$\text{p-value} < \alpha$

As funções Pvalue.norm.sime Pvalue.binom.simno pacote TeachingDemos para R simularão vários conjuntos de dados, computarão os valores-p e os plotarão para demonstrar essa idéia.

Veja também:

Murdoch, D. Tsai, Y e Adcock, J (2008). Valores-P são variáveis ​​aleatórias. The American Statistician , 62 , 242-245.

para mais alguns detalhes.

Editar:

Como as pessoas ainda estão lendo esta resposta e comentando, pensei em abordar o comentário do @ whuber.

É verdade que, ao usar uma hipótese nula composta como os valores-p somente serão distribuídos uniformemente quando as duas médias forem exatamente iguais e não serão uniformes se for qualquer valor menor que . Isso pode ser facilmente visto usando a função e configurando-a para fazer um teste unilateral e simular com a simulação e meios hipotéticos diferentes (mas na direção de tornar o nulo verdadeiro).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

No que diz respeito à teoria estatística, isso não importa. Considere se eu afirmei que sou mais alto que todos os membros de sua família, uma maneira de testar essa afirmação seria comparar minha altura com a altura de cada membro de sua família, uma de cada vez. Outra opção seria encontrar o membro da sua família mais alto e comparar a altura deles com a minha. Se eu sou mais alto que essa pessoa, também sou mais alto que o resto e minha afirmação é verdadeira; se não sou mais alta que essa pessoa, minha afirmação é falsa. Testar um nulo composto pode ser visto como um processo semelhante, em vez de testar todas as combinações possíveis em que podemos testar apenas a parte da igualdade, porque se podemos rejeitar isso em favor deμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$então sabemos que também podemos rejeitar todas as possibilidades de . Se observarmos a distribuição dos valores-p nos casos em que , a distribuição não será perfeitamente uniforme, mas terá mais valores próximos de 1 do que 0, o que significa que a probabilidade de um erro do tipo I será menor que o valor selecionado, tornando-o um teste conservador. O uniforme se torna a distribuição limitadora à medida que se aproxima de$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(as pessoas mais atualizadas nos termos da teoria das estatísticas provavelmente poderiam afirmar isso melhor em termos de supremo distributivo ou algo assim). Portanto, construindo nosso teste assumindo a parte igual do nulo, mesmo quando o nulo é composto, projetamos nosso teste para ter uma probabilidade de um erro do tipo I que é no máximo para todas as condições em que o nulo é verdadeiro.$\alpha$

Sob a hipótese nula, sua estatística de teste tem a distribuição (por exemplo, normal padrão). Mostramos que o valor p tem uma distribuição de probabilidade em outras palavras, é distribuído uniformemente. Isso ocorre enquanto é invertível, uma condição necessária para que não seja uma variável aleatória discreta.$T$$F(t)$$P=F(T)$P F ( ⋅ )

Este resultado é geral: a distribuição de um CDF invertível de uma variável aleatória é uniforme em .$[0,1]$

Seja a variável aleatória com a função de distribuição cumulativa para todos os . Assumindo que é invertível, podemos derivar a distribuição do valor p aleatório seguinte maneira:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

a partir do qual podemos concluir que a distribuição de é uniforme em .$P$$[0,1]$

Essa resposta é semelhante à de Charlie, mas evita ter que definir .$t = F^{-1}(p)$

Simulação simples da distribuição dos valores p em caso de regressão linear entre duas variáveis ​​independentes:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Eu não acho que a maioria dessas respostas realmente responda à pergunta em geral. Eles são restritos ao caso em que existe uma hipótese nula simples e quando a estatística do teste possui um CDF invertível (como em uma variável aleatória contínua que possui um CDF estritamente crescente). Esses casos são os casos com os quais a maioria das pessoas se preocupa com os testes z e t, embora, para testar uma média binomial (por exemplo), não se tenha esse CDF. O que é fornecido acima parece correto aos meus olhos para esses casos restritos.

Se hipóteses nulas são compostas, as coisas são um pouco mais complicadas. A prova mais geral desse fato que eu já vi no caso composto usando algumas suposições sobre regiões de rejeição é fornecida nas "Testando Hipóteses Estatísticas" de Lehmann e Romano, páginas 63-64. Vou tentar reproduzir o argumento abaixo ...

Nós testamos a hipótese nula contra uma hipótese alternativa com base em uma estatística de teste, que vamos denotar como a variável aleatória . Supõe-se que a estatística de teste venha de alguma classe paramétrica, ou seja, , em que é um elemento da família de distribuições de probabilidade e é um espaço de parâmetro. A hipótese nula e a hipótese alternativa formam uma partição de em $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

O resultado do teste pode ser indicado como onde, para qualquer conjunto , definimos Aqui é o nosso nível de significância e indica a região de rejeição do teste para o nível de significância .

Suponha que as regiões de rejeição atendam ao se . Nesse caso de regiões de rejeição aninhadas, é útil determinar não apenas se a hipótese nula é ou não rejeitada em um determinado nível de significância , mas também determinar o menor nível de significância para o qual a hipótese nula seria rejeitada. Esse nível é conhecido como valor-p , Esse número nos dá uma idéia de quão forte os dados (conforme retratados pela estatística do teste ) contradizem a hipótese nula .

Suponha que para alguns e . Suponha adicionalmente que as regiões de rejeição obedeçam à propriedade de aninhamento mencionada acima. Em seguida, o seguinte vale:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Se para todos os , então para , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Se para , temos para todos os , então para , temos $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Observe que essa primeira propriedade apenas nos diz que a taxa de falso positivo é controlada em rejeitando quando o valor de p é menor que , e a segunda propriedade nos diz (dada uma suposição adicional) que os valores de p são distribuídos uniformemente sob o valor nulo hipótese.$u$$u$

A prova é a seguinte:

1. Deixe e assuma para todos os . Então, por definição de , temos para todos os . Pela monotonicidade e pelo pressuposto, segue-se que para todos os . Deixando , segue-se que .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Deixe e assuma que para todos os . Então e, por monotonicidade, segue-se que . Considerando (1), segue-se que . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Observe que a suposição em (2) não se aplica quando uma estatística de teste é discreta, mesmo que a hipótese nula seja simples e não composta. Tomemos, por exemplo, com e . Ou seja, jogue uma moeda dez vezes e teste se é justo versus inclinado em direção às cabeças (codificado como 1). A probabilidade de ver 10 caras em 10 lançamentos justos de moedas é (1/2) ^ 10 = 1/1024. A probabilidade de ver 9 ou 10 caras em 10 lançamentos justos de moedas é 11/1024. Para qualquer estritamente entre 1/1024 e 11/1024, você rejeitaria o nulo se , mas não temos esse para esses valores de quando$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Em vez disso, para esse . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Se os valores de p forem distribuídos uniformemente sob o H0, isso significa que é mais provável que o valor de p seja igual a 0,05 do que o valor de p igual a 0,80, mas isso não é verdade, pois é menos provável que ocorra um valor de p valor de .05 a um valor de p de .80, porque essa é precisamente a definição da distribuição normal da qual o valor de p é obtido. Haverá mais amostras caindo dentro da faixa de normalidade do que fora dela, por definição. Portanto, é mais provável encontrar valores p maiores do que os menores.