De uma perspectiva de probabilidade bayesiana, por que um intervalo de confiança de 95% não contém o parâmetro verdadeiro com 95% de probabilidade?

14

Na página da Wikipedia sobre intervalos de confiança :

... se intervalos de confiança são construídos em muitas análises de dados separadas de experimentos repetidos (e possivelmente diferentes), a proporção de tais intervalos que contêm o valor verdadeiro do parâmetro corresponderá ao nível de confiança ...

E da mesma página:

Um intervalo de confiança não prevê que o valor real do parâmetro tenha uma probabilidade específica de estar no intervalo de confiança, dados os dados realmente obtidos.

Se entendi direito, essa última afirmação é feita com a interpretação freqüentista da probabilidade em mente. Entretanto, de uma perspectiva de probabilidade bayesiana, por que um intervalo de confiança de 95% não contém o parâmetro verdadeiro com 95% de probabilidade? E se não, o que há de errado com o seguinte raciocínio?

Se eu tenho um processo que eu sei que produz uma resposta correta 95% das vezes, a probabilidade de a resposta seguinte estar correta é de 0,95 (dado que não tenho informações extras sobre o processo). Da mesma forma, se alguém me mostrar um intervalo de confiança criado por um processo que conterá o parâmetro verdadeiro 95% das vezes, não devo estar certo ao dizer que ele contém o parâmetro verdadeiro com probabilidade de 0,95, considerando o que sei?

Essa pergunta é semelhante, mas não é a mesma que, por que um IC de 95% não implica uma chance de 95% de conter a média? As respostas a essa pergunta foram focadas no motivo pelo qual um IC de 95% não implica uma chance de 95% de conter a média de uma perspectiva freqüentista. Minha pergunta é a mesma, mas de uma perspectiva de probabilidade bayesiana.

bayesian confidence-interval

— Rasmus Bååth
fonte

Uma maneira de pensar nisso é o IC 95% é uma "média de longo prazo". Agora, existem muitas maneiras de dividir seus casos de "curto prazo" para obter uma cobertura bastante arbitrária - mas, quando calculada a média, dê 95% do total. Outra maneira mais abstrata é gerar para tais que . Há um número infinito de maneiras de fazer isso. Aqui indica se o IC criado com o i-ésimo conjunto de dados continha o parâmetro e é a probabilidade de cobertura para este caso.

x_{i} \sim B e r n o u l l i (p_{i})

$x_i\sim Bernoulli (p_i)$

i = 1, 2, \dots

$i=1, 2,\dots$

\sum_{i = 1}^{\infty} p_{i} = 0.95

$\sum_{i=1}^{\infty} p_i=0.95$

x_{i}

$x_i$

p_{i}

$p_i$

— probabilityislogic

11

Atualização : Com o benefício de uma retrospectiva de alguns anos, escrevi um tratamento mais conciso do essencialmente o mesmo material em resposta a uma pergunta semelhante.

Como construir uma região de confiança

Vamos começar com um método geral para construir regiões de confiança. Pode ser aplicado a um único parâmetro, para gerar um intervalo de confiança ou um conjunto de intervalos; e pode ser aplicado a dois ou mais parâmetros, para gerar regiões de confiança dimensional mais alta.

Afirmamos que as estatísticas observadas $D$ originam de uma distribuição com os parâmetros $\theta$ , ou seja, a distribuição amostral $s(d|\theta)$ sobre as possíveis estatísticas $d$ , e buscamos uma região de confiança para $\theta$ no conjunto de valores possíveis $\Theta$ . Definir uma região de maior densidade (HDR): o $h$ -HDR de um PDF é o menor subconjunto de seu domínio que suporta a probabilidade $h$ . Denote o $h$ -HDR de $s(d|\psi)$ como $H_\psi$ , para qualquer $\psi \in \Theta$ . Então, aregião de confiança $h$ para $\theta$ , dados os dados $D$ , é o conjunto $C_D = \{ \phi : D \in H_\phi \}$ . Um valor típico de $h$ seria 0,95.

Uma Interpretação Frequentista

A partir da definição anterior de uma regi de confian segue

d \in H_{ψ} ⟷ ψ \in C_{d}

$d \in H_\psi \longleftrightarrow \psi \in C_d$ com

C_{d} = {ϕ : d \in H_{ϕ}}

$C_d = \{ \phi : d \in H_\phi \}$ . Agora imagine um grande conjunto de ( imaginárias observações)

{D_{i}}

$\{D_i\}$ , feita sob circunstâncias semelhantes a

D

$D$ . ie São amostras de

s (d | θ)

$s(d|\theta)$ . Como

H_{θ}

$H_\theta$ suporta a massa de probabilidade

h

$h$ dos PDF

s (d | θ)

$s(d|\theta)$ ,

P (D_{i} \in H_{θ}) = h

$P(D_i \in H_\theta) = h$ para todos os

i

$i$ . Por conseguinte, a fracção de

{D_{i}}

$\{D_i\}$ para os quais

D_{i} \in H_{θ}

$D_i \in H_\theta$ é

h

$h$ . E assim, usando o equivalência acima, a fracção de

{D_{i}}

$\{D_i\}$ para os quais

θ \in C_{D_{i}}

$\theta \in C_{D_i}$ também é

h

$h$ .

Portanto, é isso que a reivindicação freqüentista da região de confiança $h$ para $\theta$ equivale a:

Tomar um grande número de observações imaginárias $\{D_i\}$ a partir da distribuição de amostragem $s(d|\theta)$ que deu origem ao estatísticas observada $D$ . Então, $\theta$ fica dentro de uma fração $h$ das regiões de confiança análogas mas imaginárias $\{C_{D_i}\}$ .

A região de confiança $C_D$ portanto, não reivindica a probabilidade de que $\theta$ esteja em algum lugar! A razão é simplesmente que não há nada na fomulação que nos permita falar de uma distribuição de probabilidade sobre $\theta$ . A interpretação é apenas uma superestrutura elaborada, que não melhora a base. A base é apenas $s(d | \theta)$ e $D$ , onde $\theta$ não aparece como uma quantidade distribuída e não há informações que possamos usar para resolver isso. Existem basicamente duas maneiras de obter uma distribuição sobre $\theta$ :

Atribua uma distribuição diretamente da informação disponível: $p(\theta | I)$ .
Relacione $\theta$ a outra quantidade distribuída: $p(\theta | I) = \int p(\theta x | I) dx = \int p(\theta | x I) p(x | I) dx$ .

Nos dois casos, $\theta$ deve aparecer à esquerda em algum lugar. Os freqüentistas não podem usar nenhum dos métodos, porque ambos exigem um prévio herético.

Uma visão bayesiana

O máximo que um bayesiano pode tirar da $h$ região de confiança $C_D$ , dada sem qualificação, é simplesmente a interpretação direta: que é o conjunto de $\phi$ para o qual $D$ enquadra no $h$ -HDR $H_\phi$ da distribuição amostral $s(d|\phi)$ . Isso não nos diz necessariamente muito sobre $\theta$ , e aqui está o porquê.

A probabilidade de que $\theta \in C_D$ , dado $D$ e a informação de base $I$ , seja:

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} p (θ | D I) d θ \\ = \int_{C_{D}} \frac{p (D | θ I) p (θ | I)}{p (D | I)} d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} p(\theta | DI) d\theta \\ &= \int_{C_D} \frac{p(D | \theta I) p(\theta | I)}{p(D | I)} d\theta \end{align*}$ Observe que, diferentemente da interpretação freqüentista, imediatamente exigimos uma distribuição sobre

θ

$\theta$ . A informação de fundo

I

$I$ nos diz, como antes, que a distribuição de amostragem é

s (d | θ)

$s(d | \theta)$ :

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} \frac{s (D | θ) p (θ | I)}{p (D | I)} d θ \\ = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{p (D | I)} \\ i.e. P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{\int s (D | θ) p (θ | I) d θ} \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} \frac{s(D | \theta) p(\theta | I)}{p(D | I)} d \theta \\ &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{p(D | I)} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{\int s(D | \theta) p(\theta | I) d\theta} \end{align*}$ Agora, em geral, essa expressão não é avaliada como

h

$h$ , ou seja, aregião de confiança

h

$h$

C_{D}

$C_D$ nem sempre contém

θ

$\theta$ com probabilidade

h

$h$ . De fato, pode ser totalmente diferente de

h

$h$ . Existem, no entanto, muitas situações comuns em que eleéavaliado para

h

$h$ , razão pela qual as regiões de confiança geralmente são consistentes com nossas intuições probabilísticas.

Por exemplo, suponha que o PDF da junta anterior de $d$ e $\theta$ seja simétrico em que $p_{d,\theta}(d,\theta | I) = p_{d,\theta}(\theta,d | I)$ . (Claramente, isso envolve a suposição de que o PDF varia sobre o mesmo domínio em $d$ e $\theta$ .) Então, se o anterior for $p(\theta | I) = f(\theta)$ , teremos $s(D | \theta) p(\theta | I) = s(D | \theta) f(\theta) = s(\theta | D) f(D)$ . Portanto,

\begin{aligned} P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (θ | D) d θ}{\int s (θ | D) d θ} \\ i.e. P (θ \in C_{D} | D I) & = \int_{C_{D}} s (θ | D) d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(\theta | D) d\theta}{\int s(\theta | D) d\theta} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \int_{C_D} s(\theta | D) d\theta \end{align*}$ A partir da definição de um HDR sabemos que, para qualquer

ψ \in Θ

$\psi \in \Theta$

\begin{aligned} \int_{H_{ψ}} s (d | ψ) d d & = h \\ and therefore that \int_{H_{D}} s (d | D) d d & = h \\ or equivalently \int_{H_{D}} s (θ | D) d θ & = h \end{aligned}

$\begin{align*} \int_{H_\psi} s(d | \psi) dd &= h \\ \text{and therefore that} \quad\quad \int_{H_D} s(d | D) dd &= h \\ \text{or equivalently} \quad\quad \int_{H_D} s(\theta | D) d\theta &= h \end{align*}$ Portanto, dado que

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ ,

C_{D} = H_{D}

$C_D = H_D$ implica

P (θ \in C_{D} | D I) = h

$P(\theta \in C_D | DI) = h$ . O antecedente satisfaz

C_{D} = H_{D} ⟷ \forall ψ [ψ \in C_{D} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ \psi \in C_D \leftrightarrow \psi \in H_D ]$ Aplicando a equivalência perto do topo:

C_{D} = H_{D} ⟷ \forall ψ [D \in H_{ψ} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$ Assim, a região de confiança

C_{D}

$C_D$ contém

θ

$\theta$ com probabilidade

h

$h$ se para todos os valores possíveis

ψ

$\psi$ de

θ

$\theta$ , o

h

$h$ -HDR de

s (d | ψ)

$s(d | \psi)$ contém

D

$D$ , se e apenas se o

h

$h$ -HDR de

s (d | D)

$s(d | D)$ contém

ψ

$\psi$ .

Agora, a relação simétrica $D \in H_\psi \leftrightarrow \psi \in H_D$ é satisfeito por todos $\psi$ quando $s(\psi + \delta | \psi) = s(D - \delta | D)$ para todos $\delta$ que abrangem o suporte de $s(d | D)$ e $s(d | \psi)$ . Portanto, podemos formar o seguinte argumento:

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ (premissa)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ]$ (premissa)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ] \longrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\therefore \quad \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ] \longrightarrow C_D = H_D$
$\therefore \quad C_D = H_D$
$[s(d | \theta) f(\theta) = s(\theta | d) f(d) \wedge C_D = H_D] \longrightarrow P(\theta \in C_D | DI) = h$
$\therefore \quad P(\theta \in C_D | DI) = h$

Vamos aplicar o argumento para um intervalo de confiança da média de uma distribuição normal 1-D $(\mu, \sigma)$ , dado uma amostra média $\bar{x}$ a partir de $n$ medições. Temos $\theta = \mu$ e $d = \bar{x}$ , de modo que a distribuição de amostragem é de

s (d | θ) = \frac{\sqrt{n}}{σ \sqrt{2 π}} e^{- \frac{n}{2 σ^{2}} {(d - θ)}^{2}}

$s(d | \theta) = \frac{\sqrt{n}}{\sigma \sqrt{2 \pi}} e^{-\frac{n}{2 \sigma^2} { \left( d - \theta \right) }^2 }$ Suponha também que não sabemos nada sobre

θ

$\theta$ antes de coletar os dados (exceto que é um parâmetro de localização) e, portanto, atribua um uniforme anterior:

f (θ) = k

$f(\theta) = k$ . Claramente agora temos

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ , de modo que a primeira premissa é satisfeita. Seja

s (d | θ) = g ((d - θ)^{2})

$s(d | \theta) = g\left( (d - \theta)^2 \right)$ . (ou seja, pode ser escrito dessa forma.) Então

\begin{matrix} s (ψ + δ | ψ) = g ((ψ + δ - ψ)^{2}) = g (δ^{2}) \\ and s (D - δ | D) = g ((D - δ - D)^{2}) = g (δ^{2}) \\ so that \forall ψ \forall δ [s (ψ + δ | ψ) = s (D - δ | D)] \end{matrix}

$\begin{gather*} s(\psi + \delta | \psi) = g \left( (\psi + \delta - \psi)^2 \right) = g(\delta^2) \\ \text{and} \quad\quad s(D - \delta | D) = g \left( (D - \delta - D)^2 \right) = g(\delta^2) \\ \text{so that} \quad\quad \forall \psi \; \forall \delta \; [s(\psi + \delta | \psi) = s(D - \delta | D)] \end{gather*}$ que a segunda premissa é satisfeita. Ambas as instalações sendo verdade, as ligações argumento de oito pontos nos concluir que a probabilidade de que

θ

$\theta$ situa-se no intervalo de confiança

C_{D}

$C_D$ é

h

$h$ !

Portanto, temos uma ironia divertida:

O freqüentador que atribui o intervalo de confiança $h$ não pode dizer que $P(\theta \in C_D) = h$ , não importa quão inocentemente uniforme $\theta$ pareça antes de incorporar os dados.
A Bayesian que não iria atribuir um $h$ intervalo de confiança dessa forma sabe de qualquer forma que $P(\theta \in C_D | DI) = h$ .

Considerações finais

Foram identificadas as condições (isto é, os dois locais) em que o $h$ regi de confian, de facto, produzem probabilidade $h$ que $\theta \in C_D$ . Um freqüentador confunde a primeira premissa, porque envolve um prior em $\theta$ , e esse tipo de negócio é inevitável na rota para uma probabilidade. Mas para um bayesiano, é aceitável --- não, essencial. Estas condições são suficientes, mas não necessário, de forma que há muitas outras circunstâncias em que o Bayesiana $P(\theta \in C_D | DI)$ é igual a $h$ . Igualmente, porém, existem muitas circunstâncias em que $P(\theta \in C_D | DI) \ne h$ , especialmente quando as informações anteriores são significativas.

Nós aplicamos uma análise Bayesiana apenas como um Bayesian Would consistente, dada a informação na mão , incluindo estatísticas $D$ . Mas um Bayesian, se ele puder, vai aplicar seus métodos para as medições brutas em vez --- ao $\{x_i\}$ , ao invés de $\bar{x}$ . Muitas vezes, o recolhimento dos dados brutos nas estatísticas resumidas $D$ destrói as informações nos dados; e as estatísticas resumidas são incapazes de falar de maneira tão eloquente quanto os dados originais sobre os parâmetros $\theta$ .

— CarbonFlambe - Restabelecer Monica
fonte

Seria correto dizer que um bayesiano está comprometido em levar em consideração todas as informações disponíveis, enquanto a interpretação dada na pergunta ignorou D em algum sentido?

— Qbolec # 9/18

É uma boa imagem mental para ilustrar a situação: imagine uma imagem em escala de cinza, onde a intensidade do pixel x, y é o ppb conjunto do parâmetro real sendo y e o status observado sendo x. Em cada linha y, marcamos pixels com 95% de massa da linha. Para cada estatística observada x, definimos CI (x) como o conjunto de linhas que marcaram pixels na coluna x. Agora, se escolhermos x, y aleatoriamente, o IC (x) conterá y se x, y foi marcado e a massa de pixels marcados é de 95% para cada y. Então, frequentistas dizer que mantendo y fixo, o acaso é de 95%, OP diz que não fixação y também dá 95%, e Bayesians corrigir y e não sei

— qbolec

@qbolec It is correct to say that in the Bayesian method one cannot arbitrarily ignore some information while taking account of the rest. Frequentists say that for all

y

$y$ the expectation of

y \in C I (x)

$y \in \mathrm{CI}(x)$ (as a Boolean integer) under the sampling distribution

p r o b (x | y, I)

$\mathrm{prob}(x\, |\, y, I)$ is 0.95. The frequentist 0.95 is not a probability but an expectation.

— CarbonFlambe--Reinstate Monica

6

from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability?

Two answers to this, the first being less helpful than the second

There are no confidence intervals in Bayesian statistics, so the question doesn't pertain.
In Bayesian statistics, there are however credible intervals, which play a similar role to confidence intervals. If you view priors and posteriors in Bayesian statistics as quantifying the reasonable belief that a parameter takes on certain values, then the answer to your question is yes, a 95% credible interval represents an interval within which a parameter is believed to lie with 95% probability.

If I have a process that I know produces a correct answer 95% of the time then the probability of the next answer being correct is 0.95 (given that I don't have any extra information regarding the process).

yes, the process guesses a right answer with 95% probability

Similarly if someone shows me a confidence interval that is created by a process that will contain the true parameter 95% of the time, should I not be right in saying that it contains the true parameter with 0.95 probability, given what I know?

Just the same as your process, the confidence interval guesses the correct answer with 95% probability. We're back in the world of classical statistics here: before you gather the data you can say there's a 95% probability of randomly gathered data determining the bounds of the confidence interval such that the mean is within the bounds.

With your process, after you've gotten your answer, you can't say based on whatever your guess was, that the true answer is the same as your guess with 95% probability. The guess is either right or wrong.

And just the same as your process, in the confidence interval case, after you've gotten the data and have an actual lower and upper bound, the mean is either within those bounds or it isn't, i.e. the chance of the mean being within those particular bounds is either 1 or 0. (Having skimmed the question you refer to it seems this is covered in much more detail there.)

How to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

There are a couple of ways of looking at this

Technically, the confidence interval hasn't been produced using a prior and Bayes theorem, so if you had a prior belief about the parameter concerned, there would be no way you could interpret the confidence interval in the Bayesian framework.
Another widely used and respected interpretation of confidence intervals is that they provide a "plausible range" of values for the parameter (see, e.g., here). This de-emphasises the "repeated experiments" interpretation.

Moreover, under certain circumstances, notably when the prior is uninformative (doesn't tell you anything, e.g. flat), confidence intervals can produce exactly the same interval as a credible interval. In these circumstances, as a Bayesianist you could argue that had you taken the Bayesian route you would have gotten exactly the same results and you could interpret the confidence interval in the same way as a credible interval.

— TooTone
fonte

but for sure confidence intervals exist even if I subscribe to a bayesian view of probability, they just wont dissapear, right? :)The situation I was asking about was how to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

— Rasmus Bååth

The problem is that confidence intervals aren't produced using a Bayesian methodology. You don't start with a prior. I'll edit the post to add something which might help.

— TooTone

2

I'll give you an extreme example where they are different.

Suppose I create my 95% confidence interval for a parameter $\theta$ as follows. Start by sampling the data. Then generate a random number between $0$ and $1$ . Call this number $u$ . If $u$ is less than $0.95$ then return the interval $(-\infty,\infty)$ . Otherwise return the "null" interval.

Now over continued repititions, 95% of the CIs will be "all numbers" and hence contain the true value. The other 5% contain no values, hence have zero coverage. Overall, this is a useless, but technically correct 95% CI.

The Bayesian credible interval will be either 100% or 0%. Not 95%.

— probabilityislogic
fonte

So is it correct to say that before seeing a confidence interval there is a 95% probability that it will contain the true parameter, but for any given confidence interval the probability that it covers the true parameter depends on the data (and our prior)? To be honest, what I'm really struggling with is how useless confidence intervals sounds (credible intervals I like on the other hand) and the fact that I never the less will have to teach them to our students next week... :/

— Rasmus Bååth

This question has some more examples, plus a very good paper comparing the two approaches

— probabilityislogic

1

" da perspectiva bayesiana de probabilidade, por que um intervalo de confiança de 95% não contém o parâmetro verdadeiro com 95% de probabilidade? "

Nas estatísticas bayesianas, o parâmetro não é um valor desconhecido, é uma distribuição. Não há intervalo que contenha o "valor verdadeiro"; para um ponto de vista bayesiano, isso nem faz sentido. O parâmetro é uma variável aleatória; você pode conhecer perfeitamente a probabilidade desse valor estar entre x_inf e x_max, se você conhece a distribuição. É apenas uma mentalidade diferente sobre os parâmetros, geralmente os bayesianos usavam o valor mediano ou médio da distribuição do parâmetro como uma "estimativa". Não há um intervalo de confiança nas estatísticas bayesianas, algo semelhante é chamado intervalo de credibilidade .

Agora, do ponto de vista frequencista, o parâmetro é um "Valor Fixo", não uma variável aleatória. Você pode realmente obter um intervalo de probabilidade (95%)? Lembre-se de que é um valor fixo, não uma variável aleatória com uma distribuição conhecida. É por isso que você passou o texto : "Um intervalo de confiança não prevê que o valor real do parâmetro tenha uma probabilidade específica de estar no intervalo de confiança, dados os dados realmente obtidos".

A idéia de repetir a experiência repetidamente ... não é um raciocínio bayesiano, é um conceito frequencista. Imagine um experimento real ao vivo que você pode fazer apenas uma vez na vida, você pode / deve criar esse intervalo de confiança (do ponto de vista clássico) ?.

Mas ... na vida real, os resultados podem chegar bem perto (bayesiano x frequencista), talvez seja por isso que poderia ser confuso.

— soprou
fonte