Intervalos credíveis bayesianos tratam o parâmetro estimado como uma variável aleatória?

Li recentemente o seguinte parágrafo na Wikipedia :

Intervalos bayesianos tratam seus limites como fixos e o parâmetro estimado como uma variável aleatória , enquanto intervalos freqüentes de confiança tratam seus limites como variáveis ​​aleatórias e o parâmetro como um valor fixo.

No entanto, não tenho certeza se isso é verdade. Minha interpretação do intervalo credível foi que ele encapsulou nossa própria incerteza sobre o valor verdadeiro do parâmetro estimado, mas que o próprio parâmetro estimado tinha algum tipo de valor "verdadeiro".

Isso é um pouco diferente de dizer que o parâmetro estimado é uma 'variável aleatória'. Estou errado?

Considere a situação em que você tem $n = 20$observações de um processo binário (2 resultados). Freqüentemente, os dois resultados possíveis em cada teste são chamados de Sucesso e Fracasso.

Intervalo de confiança freqüentista. Suponha que você observe$x = 15$ sucessos no $n = 20$ensaios. Ver o número$X$ de sucessos como variável aleatória $X \sim \mathsf{Binom}(n=20; p),$ onde a probabilidade de sucesso $p$é uma constante desconhecida. O intervalo de confiança frequentista de 95% da Wald é baseado em$\hat p = 15/20 = 0.75,$ uma estimativa de $p.$ Usando uma aproximação normal, esse IC tem a forma $\hat p \pm 1.96\sqrt{\hat p(1-\hat p)/n}$ ou $(0.560, 0.940).$[O estilo Agresti-Coull um pouco aprimorado de 95% CI é$(0.526, 0.890).]$

Uma interpretação comum é que o procedimento que produz esse intervalo produzirá limites de confiança inferiores e superiores que incluem o valor verdadeiro de $p$em 95% dos casos a longo prazo. [A vantagem do intervalo Agresti-Coull é que a proporção de longo prazo dessas inclusões é mais próxima de 95% do que no intervalo Wald.]

Intervalo credível bayesiano.A abordagem bayesiana começa tratando$p$como uma variável aleatória. Antes de ver os dados, se não tivermos experiência prévia com o tipo de experimento binomial sendo conduzido ou nenhuma opinião pessoal sobre a distribuição de$p,$ podemos escolher a distribuição uniforme 'plana' ou 'não informativa', dizendo $p \sim \mathsf{Unif}(0, 1) \equiv \mathsf{Beta}(1,1).$

Então, dados 15 sucessos em 20 ensaios binomiais, encontramos a distribuição posterior de $p$ como o produto da distribuição anterior e da função de probabilidade binomial.

Aqui reconhecemos que o núcleo da distribuição posterior é o da distribuição $\mathsf{Beta}(16, 6).$Então, um intervalo posterior bayesiano de 95% ou intervalo credível é encontrado cortando 2,5% de cada cauda da distribuição posterior. Aqui está o resultado de R: $(0.528,0.887).$[Para obter informações sobre distribuições beta, consulte Wikipedia .]

qbeta(c(.025,.975), 16, 6)
[1] 0.5283402 0.8871906

Se acreditamos que o anterior era razoável e acreditamos que o experimento binomial de 20 tentativas foi razoavelmente conduzido, então logicamente devemos esperar que a estimativa do intervalo bayesiano forneça informações úteis sobre o experimento em questão - sem referência a uma hipótese hipotética correr futuro.

Observe que esse intervalo credível bayesiano é numericamente semelhante ao intervalo de confiança Agresti-Coull. No entanto, como você ressalta, as interpretações dos dois tipos de estimativas de intervalo (freqüentista e bayesiana) não são as mesmas.

Informativo prévio. Antes de vermos os dados, se tivéssemos motivos para acreditar que$p \approx 2/3,$ então poderíamos ter escolhido a distribuição $\mathsf{Beta}(8,4)$como a distribuição anterior. [Esta distribuição tem média de 2/3, desvio padrão de 0,35 e coloca cerca de 95% de sua probabilidade no intervalo$(0.39, 0.89).$]

qbeta(c(.025,.975), 8,4)
[1] 0.3902574 0.8907366

Nesse caso, multiplicar o anterior pela probabilidade dá ao núcleo posterior de $\mathsf{Beta}(23,7),$ para que o intervalo credível bayesiano de 95% seja $(0.603, 0.897).$ A distribuição posterior é uma fusão das informações no prior e na probabilidade, que estão em concordância grosseira, de modo que a estimativa do intervalo bayesiano resultante é menor que o intervalo do plano anterior.

qbeta(c(.025,.975), 23,7)
[1] 0.6027531 0.8970164

Notas: (1) A função beta prévia e a probabilidade binomial são 'conjugadas', ou seja, matematicamente compatíveis de uma maneira que nos permite encontrar a distribuição posterior sem cálculo. Às vezes, não parece haver uma distribuição anterior que seja conjugada com a probabilidade. Então, pode ser necessário usar a integração numérica para encontrar a distribuição posterior.

(2) Um intervalo credível bayesiano de um prior não informativo depende essencialmente da função de verossimilhança. Além disso, grande parte da inferência freqüentista depende da função de probabilidade. Assim, não é surpresa que um intervalo credível bayesiano de um plano anterior possa ser numericamente semelhante a um intervalo de confiança freqüentista com base na mesma probabilidade.

Sua interpretação está correta. Na minha opinião, essa passagem específica no artigo da Wikipedia ofusca um conceito simples com linguagem técnica opaca. A passagem inicial é muito mais clara: "é um intervalo dentro do qual um valor de parâmetro não observado cai com uma probabilidade subjetiva particular".

O termo técnico "variável aleatória" é enganoso, especialmente do ponto de vista bayesiano. Ainda é usado apenas por tradição; dê uma olhada no intrigante estudo histórico de Shafer Quando chamar uma variável aleatória sobre suas origens. Do ponto de vista bayesiano, "aleatório" significa simplesmente "desconhecido" ou "incerto" (por qualquer motivo), e "variável" é um nome impróprio para "quantidade" ou "valor". Por exemplo, quando tentamos avaliar nossa incerteza sobre a velocidade da luz$c$ de uma medida ou experimento, falamos de $c$como uma "variável aleatória"; mas obviamente não é "aleatório" (e o que "aleatório" significa?), nem é "variável" - na verdade, é uma constante. É apenas uma constante física cujo valor exato não temos certeza. Veja o parágrafo 16.4 (e outros lugares) no livro de Jaynes para uma discussão esclarecedora deste tópico.

A pergunta "o que significa um intervalo bayesiano para um 'parâmetro'?" vem da pergunta ainda mais importante "o que esse parâmetro significa?". Existem dois pontos de vista principais - não mutuamente exclusivos - sobre o significado de "parâmetros" na teoria bayesiana. Ambos usam o teorema de Finetti . O capítulo 4 da teoria bayesiana de Bernardo & Smith apresenta uma discussão belamente profunda do teorema; veja também o resumo de Dawid Permutabilidade e suas ramificações .

O primeiro ponto de vista é que o parâmetro e sua distribuição são apenas objetos matemáticos que resumem completamente um conjunto infinito de distribuições de crenças conjuntas sobre as quantidades realmente observáveis$x_1, x_2, \dotsc$(digamos, os resultados dos lançamentos de uma moeda ou a presença de um alelo genético em indivíduos com uma doença específica). Então, no caso binomial, quando dizemos "acreditamos em 95% que o valor do parâmetro$p$ está dentro do intervalo $I$", queremos dizer" temos uma crença entre $b_1$% e $b_1'$% aquele $x_1=1$"," temos uma crença entre $b_2$% e $b_2'$% aquele $x_1=1$ e $x_2=1$", e todas as declarações semelhantes possíveis. A relação numérica exata entre o $b_i$se o intervalo $I$ é dada pela fórmula integral de Finetti.

O segundo ponto de vista é que esses "parâmetros" são quantidades observáveis ​​a longo prazo, por isso faz sentido falar sobre nossa crença em seus valores. Por exemplo, o parâmetro binomial$p$é a frequência de longo prazo das observações de "sucessos" (caudas para uma moeda, alelo menor para o caso genético e assim por diante). Então, quando dizemos "acreditamos em 95% que o valor do parâmetro$p$ está dentro do intervalo $I$"queremos dizer", acreditamos 95% de que a frequência relativa de sucessos a longo prazo está dentro do intervalo $I$". O contexto aqui é que, se um oráculo ou jinn nos dissesse que a frequência relativa de longo prazo era, digamos, 0,643, nossa crença de que a próxima observação é um sucesso seria, por razões de simetria, 64,3%; próximas duas observações, 41,3449% e assim por diante. ("Por razões de simetria", porque acreditamos igualmente em todas as sequências possíveis de sucessos e fracassos - este é o contexto do teorema.) Essas observações de longo prazo não precisam ser infinitas, mas suficientemente grande: neste caso, a fórmula de permutabilidade infinita de Finetti pode ser considerada como uma aproximação de uma permutabilidade finita (por exemplo, a distribuição binomial é uma aproximação para uma hipergeométrica: "desenho sem substituição"); veja Diaconis & Freedmansobre essa aproximação. Frequentemente, esses parâmetros estão relacionados a estatísticas de longo prazo (veja novamente o capítulo citado em Bernardo & Smith). Em resumo, o "parâmetro" é uma frequência de longo prazo ou outras estatísticas empíricas observáveis.

Pessoalmente, gosto do segundo ponto de vista - que tenta encontrar o significado empírico do parâmetro como uma quantidade física - também porque me ajuda a avaliar minha distribuição de crenças pré-dados sobre essa quantidade física específica, em seu contexto específico. Veja, por exemplo, o artigo de Diaconis & al. Viés dinâmico no sorteio para um belo estudo da relação entre parâmetros de longo prazo e princípios físicos. Hoje, infelizmente, muitos "modelos" e parâmetros vêm como caixas-pretas: as pessoas os usam apenas porque outras pessoas os usam. Nas palavras de Diaconis :

O alarme de Finetti para estatísticos que introduzem resmas de parâmetros não observáveis ​​tem sido repetidamente justificado nos modernos exercícios de ajuste de curvas dos grandes modelos de hoje. Eles parecem perder todo o contato com a realidade científica, concentrando a atenção em detalhes de grandes programas e ajustes, em vez de observação e compreensão do mecanismo básico.

Na teoria frequentista, o termo "variável aleatória" pode ter um significado diferente. Eu não sou especialista nessa teoria, então não tentarei defini-la lá. Acho que há alguma literatura que mostra que os intervalos de confiança freqüentes e os intervalos bayesianos podem ser bem diferentes; veja, por exemplo, intervalos de confiança versus intervalos bayesianos ou https://www.ncbi.nlm.nih.gov/pubmed/6830080 .

Minha interpretação do intervalo credível foi que ele encapsulou nossa própria incerteza sobre o valor verdadeiro do parâmetro estimado, mas que o próprio parâmetro estimado tinha algum tipo de valor "verdadeiro". Isso é um pouco diferente de dizer que o parâmetro estimado é uma 'variável aleatória'. Estou errado?

Embora você diga que interpreta o intervalo credível como encapsulando nossa própria incerteza, a lógica de sua conclusão parte da premissa de que uma quantidade com um valor verdadeiro não é uma variável aleatória. Isso é uma visão aleatória da probabilidade (e subsequente "aleatoriedade") que concebe a aleatoriedade como uma propriedade que é inerente à natureza. Matematicamente, uma variável aleatória é apenas uma quantidade que corresponde a possíveis resultados em um espaço amostral, com uma medida de probabilidade anexada. Assim, sua abordagem só faria sentido se você tomar essa medida de probabilidade como uma propriedade inerente da natureza, dando a propensão para que um evento metafisicamente "aleatório" ocorra. Você então conclui que um parâmetro que tem um valor verdadeiro não deve ser metafisicamente "aleatório"

Essa abordagem está em desacordo com a interpretação epistêmica da probabilidade que geralmente é usada na teoria bayesiana. Sob a última abordagem (que é a interpretação padrão), a medida de probabilidade é interpretada apenas como uma medida do grau de crença (sob certos requisitos de coerência) do analista (ou de algum outro assunto). Sob a interpretação epistêmica, "variável aleatória" é sinônimo de "quantidade desconhecida" e, portanto, não há problema em dizer que um parâmetro tem um valor verdadeiro, mas ainda é uma variável aleatória com uma medida de probabilidade (não degenerada). A citação que você está olhando está usando essa abordagem epistêmica da probabilidade, mas sua conclusão parece estar usando uma premissa que está em desacordo com essa interpretação.