Contabilização de parâmetros discretos ou binários no critério de informação bayesiano

O BIC penaliza com base no número de parâmetros. E se alguns dos parâmetros forem algum tipo de variável de indicador binário? Eles contam como parâmetros completos? Mas eu posso combinar parâmetros binários em uma variável discreta que recebe valores em . Estes devem ser contados como parâmetros ou um parâmetro? $m$ $\{0,1,...,2^m-1\}$ $m$

— alta largura de banda
fonte

É em parte por causa dessa imprecisão no "número de parâmetros" no BIC que o DIC (o critério de informação de desvio ) introduziu um número efetivo de parâmetros como onde e Observe que depende dos dados. (Como discutido lá , o DIC também tem problemas próprios!)

p_{D} (x) = E [D (θ) | x] - D (E [θ | x])

$p_D(x) = \mathbb{E}[D(\theta)|x] - D(\mathbb{E}[\theta|x])$

D (θ) = - 2 registro f (x | θ)

$D(\theta)=-2\log f(x|\theta)$

DIC (x) = p_{D} (x) + E [D (θ) | x]

$\text{DIC}(x) = p_D(x) + \mathbb{E}[D(\theta)|x]$

p_{D} (x)

$p_D(x)$

— Xi'an
fonte

Então, eu estou um pouco confuso. I pensou BIC era uma aproximação de

, que pode ser calculada das simulações do MCMC. Por que então calcularíamos o DIC?

E [l o g P (y | M o d e l)] = \log (\int P (y | θ) P_{m o d e l} (θ) d θ)

$E[log P(y|Model)] = \log(\int P(y|\theta)P_{model}(\theta)d\theta)$

— highBandWidth

Sim, o BIC é uma aproximação da probabilidade marginal. No entanto, é apenas uma aproximação que converge para a "verdade" quando o tamanho da amostra cresce para o infinito. Portanto, não é diretamente bayesiano (não usa o anterior, por um lado!) E completamente não relacionado ao MCMC (onde a aproximação é do tipo Monte Carlo: se eu aumentar o número de simulações, a aproximação melhora). DIC é considerado mais bayesiano por muitos (inclusive B. Carlin e D. Spiegelhatler)

— Xian

Acho que minha pergunta foi: o DIC também é uma aproximação da probabilidade do modelo marginal? Acho que eu deveria ler sobre isso pessoalmente, mas, como estávamos discutindo, pensei que explicar isso tornaria a resposta mais completa. Obrigado!

— highBandWidth