A taxa de erro do tipo I é igual a alfa ou, no máximo, alfa?

De acordo com a página da Wikipedia de valor-p :

Quando o valor p é calculado corretamente, este teste garante que a taxa de erro do tipo I seja no máximo $\alpha$ .

No entanto, mais abaixo na página, esta fórmula é fornecida:

$Pr (R e j e c t H | H) = Pr (p \leq α | H) = α$ $\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha$

Assumindo 'taxa de erro do tipo 1' = $\Pr(\mathrm{Reject}\; H|H)$ isso sugere que a taxa de erro do tipo 1 é $\alpha$ e não 'no máximo $\alpha$ '. Caso contrário, a fórmula seria:

Pr (R e j e c t H | H) \leq α

$\Pr(\mathrm{Reject}\; H|H) \leq \alpha$

Onde está meu mal-entendido?

hypothesis-testing p-value type-i-and-ii-errors

— ovo
fonte

Quando a "hipótese nula" inclui mais de um estado da natureza, a taxa de falsos positivos reais (FPR) pode variar com esse estado. Tudo o que podemos fazer é garantir um limite para a RPF, não importa qual seja esse estado da natureza - mas nem sempre podemos garantir que a RPF seja realmente igual a . $\alpha$

(Há outras razões pelas quais o FPR pode não ser realmente igual ao seu valor-alvo , como quando a estatística do teste é discreta. Essas situações geralmente podem ser curadas usando procedimentos de decisão aleatórios. Como tal, eles não fornecem nenhuma percepção fundamental sobre o questão.) $\alpha$

Considere o teste monocaudal clássico, em que se supõe que a estatística tenha uma distribuição Normal de média desconhecida e (por simplicidade) desvio padrão conhecido . deve ser comparado a $X$ $\mu$ $\sigma$ $\mu$ $0$ . A hipótese nula é enquanto a hipótese alternativa é . A região de rejeição é, portanto, da forma $H_0:\mu \ge 0$ $H_A:\mu \lt 0$

R (α) = (- \infty, Z_{α}]

$\mathcal{R}(\alpha) = (-\infty, Z_\alpha]$

onde $Z_\alpha$ é escolhido para que a chance de observar uma estatística nessa região seja no máximo : $\alpha$

\begin{matrix} (1) & α = sup (Pr (X \in R (α))) . \end{matrix}

$\alpha =\sup\left(\Pr(X \in \mathcal{R}(\alpha))\right)\tag{1}.$

Sob as premissas, essa probabilidade é dada pela função de distribuição Normal : $\Phi$

\begin{matrix} (2) & Pr (X \in R (α)) = Φ (\frac{Z_{α} - μ}{σ}) . \end{matrix}

$\Pr(X \in \mathcal{R}(\alpha)) = \Phi\left(\frac{Z_\alpha-\mu}{\sigma}\right)\tag{2}.$

Essa probabilidade depende do valor desconhecido de . $\mu$ Portanto, não podemos garantir que seja realmente igual a . De fato, para grandes , é praticamente zero. Porém, precisamos cobrir todas as nossas bases e garantir que, enquanto for consistente com a hipótese nula, a taxa de falsos positivos não excederá . $\alpha$ $\mu$ $(2)$ $\mu$ $(1)$ $\alpha$

— whuber
fonte

@ JackPierce-Brown A fórmula está correta para a hipótese nula de ponto e para a estatística de teste contínuo. É o que deve ser assumido no artigo da Wikipedia, mas provavelmente não está explicitado. (+1)

— ameba

@Amoeba está certo. Observe, além disso, que apenas alguns testes práticos realmente envolvem hipóteses nulas de ponto. Mesmo o teste t de Student clássico de vs não é um ponto Nulo, porque existem várias possibilidades para o valor desconhecido do parâmetro mesmo que o valor nulo fixe o valor de .

H_{0} : μ = 0

$H_0:\mu=0$

H_{A} : μ > 0

$H_A:\mu \gt 0$

σ

$\sigma$

μ

$\mu$

— whuber

@ whuber Hmm, seu exemplo de teste t é intrigante. Você pode elaborar? Eu pensei que é um ponto nulo, porque é um ponto e não insere a hipótese nula. Se é não um nulo ponto, isso significa que a taxa de erro tipo I não é igual a ? Eu teria pensado que deveria ser igual a não importa o que seja .

H_{0} = 0

$H_0=0$

0

$0$

σ

$\sigma$

α

$\alpha$

α

$\alpha$

σ

$\sigma$

— Ameba

O @Amoeba faz parte da hipótese nula. Rigorosamente, o espaço do parâmetro éA hipótese nula é o subconjuntoNão é um único estado da natureza. Mas talvez este não é o melhor exemplo possível, porque a distribuição do estatística não depende : que é por isso que a FPR constante é possível.

σ

$\sigma$

Θ = {(μ, σ) ∣ μ \in R, σ \geq 0} .

$\Theta = \{(\mu,\sigma)\mid \mu\in\mathbb{R},\,\sigma \ge 0\}.$

H_{0} = {(μ, σ) ∣ μ = 0, σ \geq 0} \subset Θ .

$H_0=\{(\mu,\sigma)\mid \mu=0,\sigma\ge 0\} \subset\Theta.$

t

$t$

σ

$\sigma$

— whuber

Interessante. Eu vejo.

— Ameba

É uma questão sorrateira. Se você tiver dados contínuos e tratá-los adequadamente, . No entanto, quando seus dados são discretos, pode não ser possível para . Considere dados binomiais sobre se uma moeda é justa, com 5 lançamentos de moeda, os possíveis valores p unilaterais são: $\Pr(p \leq \alpha|H_0) = \alpha$ $p = \alpha$

> pbinom(0:5, size=5, prob=.5)
[1] 0.03125 0.18750 0.50000 0.81250 0.96875 1.00000

Somente cabeças poderiam gerar um erro do tipo I, e a probabilidade associada a isso é . Portanto, a taxa de erro do tipo I seria mantida em "no máximo ", mas não igual a $0$ $\approx 0.03$ $α$ $\alpha$ .

Por outro lado, existem estratégias de análise (inválidas) que levam a taxas de erro do tipo I maiores que , mesmo quando $\alpha$ $p<\alpha$ (por exemplo, rotinas de seleção gradual).

Eu tenho uma discussão mais completa aqui: Comparação e contraste, valores-p, níveis de significância e erro tipo I

— - Reinstate Monica
fonte