Interpretando um intervalo de confiança de 95%

Originalmente, publiquei o seguinte como resposta parcial a uma pergunta, perguntando por que um intervalo de confiança de 95% não implica que haja uma chance de 95% de que o intervalo contenha a média verdadeira (consulte: Por que um intervalo de confiança de 95% (IC) não é implica uma chance de 95% de conter a média? ). Um comentarista (graças a John) me pediu posteriormente para postar o comentário como uma pergunta separada, então aqui vai.

Primeiramente, vou assumir que, se eu selecionar uma carta de baralho aleatoriamente em um baralho padrão, a probabilidade de eu ter selecionado um clube (sem olhar para ela) é 13/52 = 25%.

Em segundo lugar, já foi afirmado muitas vezes que um intervalo de confiança de 95% deve ser interpretado em termos de repetir um experimento várias vezes e o intervalo calculado conterá a verdadeira média em 95% das vezes - acho que isso foi demonstrado de forma razoavelmente convincente por James Waters simulação na questão vinculada acima. A maioria das pessoas parece aceitar essa interpretação de um IC de 95%.

Agora, para o experimento mental. Vamos supor que tenhamos uma variável normalmente distribuída em uma grande população - talvez alturas de machos ou fêmeas adultos. Tenho um assistente disposto e incansável, encarregado de executar vários processos de amostragem de um determinado tamanho de amostra da população e calcular a média da amostra e o intervalo de confiança de 95% para cada amostra. Meu assistente é muito afiado e consegue medir todas as amostras possíveis da população. Em seguida, para cada amostra, meu assistente registra o intervalo de confiança resultante como verde (se o IC contiver a média verdadeira) ou vermelho (se o IC não contiver a média verdadeira). Infelizmente, meu assistente não vai me mostrar os resultados de seus experimentos. Preciso obter algumas informações sobre as alturas dos adultos na população, mas só tenho tempo, recursos e paciência para fazer o experimento uma vez. Faço uma única amostra aleatória (do mesmo tamanho de amostra usada pelo meu assistente) e calculo o intervalo de confiança (usando a mesma equação).

Não tenho como ver os resultados do meu assistente. Então, qual é a probabilidade de que a amostra aleatória que eu selecionei produza um IC verde (ou seja, o intervalo contém a média verdadeira)?

Na minha opinião, isso é o mesmo que a situação do baralho de cartas descrita anteriormente e pode ser interpretado que existe uma probabilidade de 95% de que o intervalo calculado usando minha amostra seja verde (ou seja, contenha a verdadeira média). E, no entanto, o consenso parece ser que um intervalo de confiança de 95% NÃO pode ser interpretado, pois existe uma probabilidade de 95% de que o intervalo contenha a média verdadeira. Por que (e onde) meu raciocínio no experimento de pensamento acima se desfaz?

A confusão vem desta frase:

E, no entanto, o consenso parece ser que um intervalo de confiança de 95% NÃO pode ser interpretado, pois existe uma probabilidade de 95% de que o intervalo contenha a média verdadeira.

É um mal-entendido parcial do consenso real. A confusão vem de não ser específico sobre o que a probabilidade falamos. Não como uma questão filosófica, mas como "de que probabilidade exata estamos falando no contexto". Como @ratsalad diz, é tudo sobre condicionamento.

Chamada seu parâmetro, seus dados, um intervalo que é uma função de :$\theta$$X$$I$$X$

• $I$ é um intervalo de confiança que significa para todos os possíveis, incluindo o verdadeiro. A probabilidade calcula a média de todos os possíveis em fixo . Isto é o que você explica em sua interpretação.$P(\theta\in I\mid\theta)>0.95$$\theta$$X$$\theta$
• $I$ sendo um (Bayesian) intervalo de credibilidade diz . Médias de probabilidade sobre todos os possíveis no fixo .$P(\theta\in I\mid X)>0.95$$\theta$$X$

Ambos são probabilidade do mesmo evento, mas condicionados de maneira diferente.

A razão pela qual se desencoraja dizer "a probabilidade de que esteja em é 0,95" para intervalos de confiança é porque esta sentença implica implicitamente o segundo ponto: quando dizemos "a probabilidade de que ..." o condicionamento está implicitamente no que foi observado anteriormente : "Eu já vi alguns , agora qual é a probabilidade de ser ..." é formalmente "o que é ".$\theta$$I$$X$$\theta$$P(\theta...\mid X)$

Esse implícito é reforçado pela sugestão (novamente implícita) que você experimenta ao ler "probabilidade de que esteja em " de que é a variável e o objeto fixo, enquanto na análise freqüentista é o contrário.$\theta$$I$$\theta$$I$

Finalmente, isso fica ainda pior quando você substitui pelo seu intervalo calculado. Se você escrever: "A probabilidade de que esteja em é 0,95", isso é simplesmente falso. Na análise frequentista, " está em " é verdadeiro ou falso, mas não é um evento aleatório, portanto, não tem uma probabilidade (diferente de 0 ou 1). Assim, a sentença só poderia ser interpretada de maneira significativa como a bayesiana.$I$$\theta$$[4;5]$$\theta$$[4;5]$

Parte da diferença se resume ao condicionamento, a diferença entre probabilidades pré-dados e probabilidades pós-dados. Antes de fazer seu único experimento (antes de obter sua amostra), você sabe que existe uma chance de 95% de que o IC95% contenha a média verdadeira (esta é a definição de um IC95%). No entanto, depois de obter sua amostra, você está em um estado diferente de conhecimento: você não aprendeu a verdadeira média, mas viu uma amostra específica de dados, que pode fornecer novos conhecimentos e afetar os cálculos de probabilidade.

Analogamente, antes de você comprar uma carta, você sabe que há 25% de chance de a carta ser um clube. Agora, para fazer a analogia funcionar, você não pode aprender o verdadeiro naipe da carta quando a tira (porque, da mesma forma, a verdadeira média está sempre escondida de você). Mas você pode aprender algo novo ao desenhar o cartão, por exemplo, a cor do naipe.

Digamos que você compra a carta e, através de algum mecanismo (isso não importa), você aprende que a carta é de um naipe preto. Isso muda sua probabilidade: a partir de informações anteriores, você sabe que os clubes são pretos e metade das cartas são de naipes pretos, então agora você sabe que o cartão tem 50% de chance de ser um clube. Se, por outro lado, você descobriu um cartão vermelho, a partir de suas informações anteriores você sabe que os clubes não são vermelhos, então você saberia agora que há uma chance de 0% de seu cartão ser um clube. Ambas as probabilidades são consistentes com uma chance de 25% de um clube antes de sacar a carta.

Se você ignorasse suas informações anteriores ou se não lhe dissessem que o cartão era preto, você ainda teria 25% de chance de estar correto. No entanto, você pode fazer melhor se tirar proveito de suas informações anteriores.

Existem muitos exemplos disso com ICs reais, nos quais a visualização dos dados fornece uma probabilidade de cobertura diferente da% do IC. Este exemplo clássico (no meio da postagem) de um IC "enganoso" de David McKay pode ajudar. Um exemplo semelhante é dado por Berger .

Para continuar com seu exemplo de altura das pessoas: digamos que você saiba que sua população em estudo é da Holanda, que tem a maior altura média de qualquer país do mundo (aproximadamente $1.84 \pm 0.02$m) No entanto, digamos que sua amostra tenha um IC de 95% de$1.7 \pm 0.02$m. Você ainda acha que existe uma probabilidade de 95% de que a média real da população esteja nesse intervalo? Eu diria que, com base no conhecimento prévio, sua amostra específica foi de um golpe estocástico e anormalmente baixa. Em outras palavras, a probabilidade é muito menor que 95% de que a média verdadeira esteja no seu IC calculado.

Observe que, antes de você obter sua amostra e calcular seu IC específico, sua chance de obter um IC que englobasse a média real era de 95%. Posteriormente, se você não usar informações anteriores e assumir que todas as alturas são igualmente prováveis a priori , poderá , se quiser, fazer uma declaração bayesiana de que há 95% de probabilidade de que seu intervalo contenha a verdadeira média. Mas saiba que essa afirmação não decorre da definição de um IC e que depende crucialmente de um determinado pressuposto anterior para a média. Também depende da sua suposição de normalidade, pois os ICs mais freqüentes não podem ser reinterpretados de maneira bayesiana tão facilmente.

Sua pergunta é mais filosofia do que estatística. Foi discutido ad nauseam na forma de um gato em uma caixa.

https://en.wikipedia.org/wiki/Schr%C3%B6dinger%27s_cat

Vou acrescentar, sobre

O intervalo de confiança de 95% deve ser interpretado em termos de repetição de um experimento várias vezes e o intervalo calculado conterá a verdadeira média em 95% do tempo

Esta é uma interpretação. Você também pode dizer que, antes de criar o intervalo, há uma chance de 95% de que o processo resulte em um intervalo que captura a média verdadeira.