Exemplos de quando o intervalo de confiança e o intervalo credível coincidem

No artigo da wikipedia sobre o Credible Interval , ele diz:

No caso de um único parâmetro e dados que podem ser resumidos em uma única estatística suficiente, pode ser demonstrado que o intervalo credível e o intervalo de confiança coincidirão se o parâmetro desconhecido for um parâmetro de localização (ou seja, a função de probabilidade direta tem a forma Pr (x | μ) = f (x - μ)), com um prior que é uma distribuição plana uniforme; [5] e também se o parâmetro desconhecido for um parâmetro de escala (ou seja, a função de probabilidade direta tem a forma Pr (x | s) = f (x / s)), com o anterior de Jeffreys [5] - o último a seguir, porque o logaritmo de um parâmetro dessa escala o transforma em um parâmetro de localização com uma distribuição uniforme. Mas esses são casos distintamente especiais (embora importantes); em geral, essa equivalência não pode ser feita ".

As pessoas poderiam dar exemplos específicos disso? Quando o IC95% corresponde realmente a "95% de chance", "violando" a definição geral de IC?

confidence-interval credible-interval

— Wayne
fonte

distribuição normal:

Faça uma distribuição normal com variação conhecida. Podemos considerar essa variação como 1 sem perder a generalidade (simplesmente dividindo cada observação pela raiz quadrada da variação). Isso tem distribuição de amostragem:

p (X_{1} . . . X_{N} | μ) = {(2 π)}^{- \frac{N}{2}} \exp (- \frac{1}{2} \sum_{i = 1}^{N} (X_{i} - μ)^{2}) = A \exp (- \frac{N}{2} (\bar{X} - μ)^{2})

$p(X_{1}...X_{N}|\mu)=\left(2\pi\right)^{-\frac{N}{2}}\exp\left(-\frac{1}{2}\sum_{i=1}^{N}(X_{i}-\mu)^{2}\right)=A\exp\left(-\frac{N}{2}(\overline{X}-\mu)^{2}\right)$

Onde é uma constante que depende apenas dos dados. Isso mostra que a média da amostra é uma estatística suficiente para a média da população. Se usarmos um uniforme anterior, a distribuição posterior para será: $A$ $\mu$

(μ | X_{1} . . . X_{N}) \sim N o r m a l (\bar{X}, \frac{1}{N}) ⟹ (\sqrt{N} (μ - \bar{X}) | X_{1} . . . X_{N}) \sim N o r m a l (0, 1)

$(\mu|X_{1}...X_{N})\sim Normal\left(\overline{X},\frac{1}{N}\right)\implies \left(\sqrt{N}(\mu-\overline{X})|X_{1}...X_{N}\right)\sim Normal(0,1)$

Portanto, um intervalo credível terá o formato: $1-\alpha$

(\bar{X} + \frac{1}{\sqrt{N}} L_{α}, \bar{X} + \frac{1}{\sqrt{N}} U_{α})

$\left(\overline{X}+\frac{1}{\sqrt{N}}L_{\alpha},\overline{X}+\frac{1}{\sqrt{N}}U_{\alpha}\right)$

Onde e são escolhidos de modo que uma variável aleatória normal normal satisfaça: $L_{\alpha}$ $U_{\alpha}$ $Z$

P r (L_{α} < Z < U_{α}) = 1 - α

$Pr\left(L_{\alpha}<Z<U_{\alpha}\right)=1-\alpha$

Agora podemos começar com essa "quantidade essencial" para construir um intervalo de confiança. A distribuição de amostragem de para fixa é uma distribuição normal padrão, portanto, podemos substituí-la pela probabilidade acima: $\sqrt{N}(\mu-\overline{X})$ $\mu$

P r (L_{α} < \sqrt{N} (μ - \bar{X}) < U_{α}) = 1 - α

$Pr\left(L_{\alpha}<\sqrt{N}(\mu-\overline{X})<U_{\alpha}\right)=1-\alpha$

Em seguida, reorganize a solução para , e o intervalo de confiança será o mesmo que o intervalo credível. $\mu$

Parâmetros de escala:

Para parâmetros de escala, os PDFs têm o formato . Podemos pegar o , que corresponde a . A distribuição da amostragem conjunta é: $p(X_{i}|s)=\frac{1}{s}f\left(\frac{X_{i}}{s}\right)$ $(X_{i}|s)\sim Uniform(0,s)$ $f(t)=1$

p (X_{1} . . . X_{N} | s) = s^{- N} 0 < X_{1} . . . X_{N} < s

$p(X_{1}...X_{N}|s)=s^{-N}\;\;\;\;\;\;\;0<X_{1}...X_{N}<s$

A partir da qual achamos que a estatística suficiente é igual a (o máximo das observações). Agora encontramos sua distribuição amostral: $X_{max}$

P r (X_{m a x} < y | s) = P r (X_{1} < y, X_{2} < y . . . X_{N} < y | s) = {(\frac{y}{s})}^{N}

$Pr(X_{max}<y|s)=Pr(X_{1}<y,X_{2}<y...X_{N}<y|s)=\left(\frac{y}{s}\right)^{N}$

Agora podemos tornar isso independente do parâmetro, tomando . Isso significa que nossa "quantidade central" é dada por com que é a distribuição . Portanto, podemos escolher usando os quantis beta, tais como: $y=qs$ $Q=s^{-1}X_{max}$ $Pr(Q<q)=q^{N}$ $beta(N,1)$ $L_{\alpha},U_{\alpha}$

P r (L_{α} < Q < U_{α}) = 1 - α = U_{α}^{N} - L_{α}^{N}

$Pr(L_{\alpha}<Q<U_{\alpha})=1-\alpha=U_{\alpha}^{N}-L_{\alpha}^{N}$

E substituímos a quantidade essencial:

P r (L_{α} < s^{- 1} X_{m a x} < U_{α}) = 1 - α = P r (X_{m a x} L_{α}^{- 1} > s > X_{m a x} U_{α}^{- 1})

$Pr(L_{\alpha}<s^{-1}X_{max}<U_{\alpha})=1-\alpha=Pr(X_{max}L_{\alpha}^{-1}>s>X_{max}U_{\alpha}^{-1})$

E existe o nosso intervalo de confiança. Para a solução bayesiana com jeffreys anteriores, temos:

p (s | X_{1} . . . X_{N}) = \frac{s^{- N - 1}}{\int_{X_{m a x}}^{\infty} r^{- N - 1} d r} = N (X_{m a x})^{N} s^{- N - 1}

$p(s|X_{1}...X_{N})=\frac{s^{-N-1}}{\int_{X_{max}}^{\infty}r^{-N-1}dr}=N (X_{max})^{N}s^{-N-1}$

⟹ P r (s > t | X_{1} . . . X_{N}) = N (X_{m a x})^{N} \int_{t}^{\infty} s^{- N - 1} d s = {(\frac{X_{m a x}}{t})}^{N}

$\implies Pr(s>t|X_{1}...X_{N})=N (X_{max})^{N}\int_{t}^{\infty}s^{-N-1}ds=\left(\frac{X_{max}}{t}\right)^{N}$

Agora, conectamos o intervalo de confiança e calculamos sua credibilidade

P r (X_{m a x} L_{α}^{- 1} > s > X_{m a x} U_{α}^{- 1} | X_{1} . . . X_{N}) = {(\frac{X_{m a x}}{X_{m a x} U_{α}^{- 1}})}^{N} - {(\frac{X_{m a x}}{X_{m a x} L_{α}^{- 1}})}^{N}

$Pr(X_{max}L_{\alpha}^{-1}>s>X_{max}U_{\alpha}^{-1}|X_{1}...X_{N})=\left(\frac{X_{max}}{X_{max}U_{\alpha}^{-1}}\right)^{N}-\left(\frac{X_{max}}{X_{max}L_{\alpha}^{-1}}\right)^{N}$

= U_{α}^{N} - L_{α}^{N} = P r (L_{α} < Q < U_{α})

$=U_{\alpha}^{N}-L_{\alpha}^{N}=Pr(L_{\alpha}<Q<U_{\alpha})$

E pronto, temos credibilidade e cobertura . $1-\alpha$

— probabilityislogic
fonte

Uma obra-prima, obrigado! Eu esperava que houvesse uma resposta como "ao calcular a média de uma amostra a partir de uma distribuição Normal, o IC 95% também é o intervalo de credibilidade de 95%" ou algo simples assim. (Basta fazer-se esta resposta deveria, eu não tenho nenhuma pista sobre exemplos específicos.)

— Wayne

Acredito que um intervalo de predição / tolerância freqüente de 95% corresponde a um intervalo de predição bayesiano com regressão OLS e erros normais. Parece que, quando comparo a resposta do predict.lm com uma resposta simulada, de qualquer maneira. Isso é verdade?

— 307 Wayne Wayne

Para , se você usar um uniforme anterior para e jeffreys anteriores para , terá equivalência.

Y = α + β X

$Y=\alpha+\beta X$

α, β

$\alpha,\beta$

σ

$\sigma$

— probabilityislogic

Ótimo, obrigado! Eu tenho tentado explicar um IC para uma regressão que fiz em termos de um intervalo de confiança, e ele simplesmente não se conecta a um público leigo, que espera um intervalo credível. Torna a vida muito mais fácil para mim ... embora talvez seja ruim para o mundo estatístico geral, pois reforçará o mal-entendido dos leigos quanto aos ICs.

— Wayne

@Wayne - a situação é um pouco mais geral do que apenas famílias em escala de localização. Normalmente, um IC será equivalente a um intervalo credível, se for baseado em uma "estatística suficiente" (como esses dois eram) onde isso existe. Se não houver estatística suficiente, o IC precisa condicionar o que é chamado de "estatística auxiliar" para ter uma interpretação de intervalo confiável.

— probabilityislogic