Parte da questão é que a definição freqüente de probabilidade não permite que uma probabilidade não trivial seja aplicada ao resultado de um experimento em particular, mas apenas a uma população fictícia de experimentos dos quais esse experimento em particular pode ser considerado uma amostra. A definição de um IC é confusa, pois é uma declaração sobre essa população (geralmente) fictícia de experimentos, e não sobre os dados específicos coletados na instância em questão. Portanto, parte do problema é uma das definições de probabilidade: a idéia do verdadeiro valor dentro de um intervalo específico com probabilidade de 95% é inconsistente com uma estrutura freqüentista.
Outro aspecto da questão é que o cálculo da confiança freqüentista não usa todas as informações contidas na amostra específica, relevantes para limitar o valor real da estatística. Minha pergunta "Existem exemplos em que os intervalos credíveis bayesianos são obviamente inferiores aos intervalos freqüentes de confiança"discute um artigo de Edwin Jaynes, que tem alguns bons exemplos que realmente destacam a diferença entre intervalos de confiança e intervalos confiáveis. Um que é particularmente relevante para essa discussão é o Exemplo 5, que discute a diferença entre um intervalo credível e um intervalo de confiança para estimar o parâmetro de uma distribuição exponencial truncada (para um problema no controle de qualidade industrial). No exemplo que ele dá, não há informação suficiente na amostra a ser determinado que o verdadeiro valor do parâmetro encontra-se em nenhum lugar um intervalo de confiança construída adequadamente 90%!
Isso pode parecer chocante para alguns, mas a razão para esse resultado é que intervalos de confiança e intervalos confiáveis são respostas a duas perguntas diferentes, a partir de duas interpretações diferentes de probabilidade.
O intervalo de confiança é a resposta à solicitação: "Dê-me um intervalo que o valor verdadeiro do parâmetro em % das instâncias de um experimento que seja repetido várias vezes". O intervalo credível é uma resposta à solicitação: "Dê-me um intervalo que entre parênteses o valor verdadeiro com probabilidade dada a amostra específica que eu realmente observei. " Para poder responder à última solicitação, devemos primeiro adotar (a ) um novo conceito do processo de geração de dados ou (b) um conceito diferente da própria definição de probabilidade. 100pp
A principal razão pela qual um intervalo de confiança de 95% em particular não implica uma chance de 95% de conter a média é porque o intervalo de confiança é uma resposta a uma pergunta diferente, portanto, é apenas a resposta certa quando a resposta para as duas perguntas acontece. tem a mesma solução numérica.
Em resumo, intervalos credíveis e de confiança respondem a diferentes perguntas de diferentes perspectivas; ambos são úteis, mas você precisa escolher o intervalo certo para a pergunta que realmente deseja fazer. Se você deseja um intervalo que admita uma interpretação de uma probabilidade de 95% (posterior) de conter o valor verdadeiro, escolha um intervalo credível (e, com ele, a correspondente conceitualização de probabilidade), não um intervalo de confiança. O que você não deve fazer é adotar uma definição diferente de probabilidade na interpretação do que a usada na análise.
Obrigado a @cardinal por seus refinamentos!
Aqui está um exemplo concreto, do excelente livro de David MaKay "Teoria da informação, inferência e algoritmos de aprendizado" (página 464):
Seja o parâmetro de interesse e os dados , um par de pontos e desenhados independentemente da seguinte distribuição:θDx1x2
p(x|θ)=⎧⎩⎨⎪⎪1/21/20x=θ,x=θ+1,otherwise
Se for , esperamos ver os conjuntos de dados , , e todos com igual probabilidade . Considere o intervalo de confiançaθ39(39,39)(39,40)(40,39)(40,40)1/4
[θmin(D),θmax(D)]=[min(x1,x2),max(x1,x2)] .
Claramente, este é um intervalo de confiança de 75% válido, porque se você amostrar novamente os dados, , muitas vezes o intervalo de confiança construído dessa maneira conteria o valor verdadeiro em 75% do tempo.D=(x1,x2)
Agora considere os dados . Nesse caso, o intervalo de confiança freqüentista de 75% seria . No entanto, supondo que o modelo do processo de geração esteja correto, poderia ser 28 ou 29 nesse caso, e não temos motivos para supor que 29 seja mais provável que 28, portanto a probabilidade posterior é . Portanto, nesse caso, o intervalo de confiança freqüentista claramente não é um intervalo credível de 75%, pois há apenas 50% de probabilidade de que ele contenha o valor real de , considerando o que podemos deduzir sobre nessa amostra específica .D=(29,29)[29,29]θp(θ=28|D)=p(θ=29|D)=1/2θθ
Sim, este é um exemplo artificial, mas se os intervalos de confiança e intervalos credíveis não fossem diferentes, eles ainda seriam idênticos nos exemplos inventados.
Observe que a principal diferença é que o intervalo de confiança é uma afirmação sobre o que aconteceria se você repetisse o experimento várias vezes; o intervalo credível é uma afirmação sobre o que pode ser inferido a partir dessa amostra específica.