Qual é o equivalente bayesiano de um teste geral de qualidade do ajuste?

Eu tenho dois conjuntos de dados, um de um conjunto de observações físicas (temperaturas) e outro de um conjunto de modelos numéricos. Estou fazendo uma análise de modelo perfeito, supondo que o conjunto de modelos represente uma amostra verdadeira e independente e verificando se as observações são extraídas dessa distribuição. A estatística que calculei é normalizada e deve teoricamente ser uma distribuição normal padrão. Claro que não é perfeito, então quero testar a qualidade do ajuste.

Usando o raciocínio freqüentista, eu poderia calcular uma estatística de Cramér-von Mises (ou Kolmogorov-Smirnov etc.), ou similar, e procurar o valor em uma tabela para obter um valor-p, para me ajudar a decidir o quão improvável o valor I veja é, dado que as observações são as mesmas do modelo.

Qual seria o equivalente bayesiano desse processo? Ou seja, como quantifico a força da minha crença de que essas duas distribuições (minha estatística calculada e a normal padrão) são diferentes?

Eu sugeriria o livro Análise Bayesiana de Dados como uma excelente fonte para responder a essa pergunta (em particular o capítulo 6) e tudo o que estou prestes a dizer. Mas uma das maneiras usuais de os bayesianos atacarem esse problema é usar valores-P preditivos posteriores (PPPs). Antes de abordar como as PPPs resolveriam esse problema, primeiro defina a seguinte notação:

Seja os dados observados e θ seja o vetor de parâmetros. Nós definimos$y$$\theta$ como osdadosreplicadosquepoderiam tersido observados, ou, pensando preditivamente, como os dados queveríamosamanhã se o experimento que produziu y hoje fosse replicado com o mesmo modelo e o mesmo valor deque produziu o dados observados.$y^{\text{rep}}$$y$$\theta$

Observe que definiremos a distribuição de dado o estado atual do conhecimento com a distribuição preditiva posterior p ( y rep | y ) = ∫ q p ( y rep | θ ) p ( θ | y ) d $y^{\text{rep}}$

$$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$$

Agora, podemos medir a discrepância entre o modelo e os dados, definindo as quantidades de teste , os aspectos dos dados que desejamos verificar. Uma quantidade de teste ou medida de discrepância , , é um resumo escalar de parâmetros e dados que é usado como padrão ao comparar dados com simulações preditivas. As quantidades de teste desempenham o papel no modelo bayesiano, verificando se as estatísticas de teste desempenham nos testes clássicos. Definimos a notação para uma estatística de teste, que é uma quantidade de teste que depende apenas dos dados; no contexto bayesiano, podemos generalizar as estatísticas dos testes para permitir a dependência dos parâmetros do modelo em sua distribuição posterior.T ( y $T(y,\theta)$$T(y)$

Classicamente, o valor p para a estatística de teste é onde a probabilidade é obtida sobre a distribuição de com corrigido.p C = Pr ( T ( y rep ) ≥ T ( y ) | θ ) y rep$T(y)$

$$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$$ $y^{\text{rep}}$$\theta$

Do ponto de vista bayesiano, a falta de ajuste dos dados em relação à distribuição preditiva posterior pode ser medida pela probabilidade da área da cauda, ​​ou valor p, da quantidade de teste e calculada usando simulações posteriores de . Na abordagem bayesiana, as quantidades de teste podem ser funções dos parâmetros desconhecidos, bem como dados, porque a quantidade de teste é avaliada com base na distribuição posterior dos parâmetros desconhecidos.$(\theta,y^{\text{rep}})$

Agora, podemos definir o valor p Bayesiano (PPP) como a probabilidade de que os dados replicados possam ser mais extremos que os dados observados, conforme medido pela quantidade de teste:

$$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$$ onde a probabilidade é assumida sobre a distribuição posterior de e a distribuição preditiva posterior de (que é, a distribuição conjunta, ): que sou a função do indicador. Na prática, porém, geralmente calculamos a distribuição preditiva posterior usando simulações. $\theta$$y^{\text{rep}}$$p(\theta,y^{\text{rep}}|y)$ $$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$$ $I$

Se já temos, digamos, simulações em da distribuição posterior de , podemos apenas desenhar um da distribuição preditiva para cada simulado$L$$\theta$$y^{\text{rep}}$$\theta$ ; agora temos desenha da distribuição posterior da articulação, . A verificação preditiva posterior é a comparação entre as quantidades de teste realizadas e as quantidades de teste preditivo . O valor p estimado é apenas a proporção dessas simulações para as quais a quantidade de teste é igual ou superior ao seu valor realizado; isto é, para o qual$L$$p(y^{\text{rep}},\theta|y)$$T(y,\theta^l)$$T(y^{\text{rep}l},\theta^l)$$L$

$$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$$ para . $l=1,...,L$

Em contraste com a abordagem clássica, a verificação do modelo bayesiano não requer métodos especiais para lidar com "parâmetros incômodos". Usando simulações posteriores, calculamos a média implicitamente de todos os parâmetros no modelo.

Uma fonte adicional, Andrew Gelman, também tem um artigo muito bom sobre PPPs aqui: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

Uma possibilidade relativamente simples: testes suaves de qualidade do ajuste por exemplo, [1] - que definem a alternativa em termos de desvios suaves do nulo, construídos por polinômios ortogonais (com relação à densidade nula como função de peso), são relativamente diretos. são transferidos para uma estrutura bayesiana, uma vez que os coeficientes dos polinômios formam uma extensão flexível, mas paramétrica, do nulo.

[1]: Rayner, JCW e DJ Best (1990),
"Testes suaves de qualidade do ajuste: uma visão geral",
International Statistical Review , 58 : 1 (abr), pp. 9-17