Quando devo me preocupar com o paradoxo de Jeffreys-Lindley na escolha do modelo bayesiano?

Estou pensando em um espaço grande (mas finito) de modelos de complexidade variável, que exploro usando o RJMCMC . O anterior no vetor de parâmetro para cada modelo é bastante informativo.

1. Em que casos (se houver) eu deveria estar preocupado com o paradoxo de Jeffreys-Lindley, favorecendo modelos mais simples, quando um dos modelos mais complexos seria mais adequado?

2. Existem exemplos simples que destacam os problemas do paradoxo na escolha do modelo bayesiano?

Eu li alguns artigos, a saber, o blog de Xi'an e o de Andrew Gelman , mas ainda não entendi bem o problema.

Desculpe por não estar claro no meu blog !

Nota: Forneci algumas informações sobre a escolha do modelo bayesiano e o paradoxo de Jeffreys-Lindley nesta outra resposta validada por Cross.

O paradoxo de Jeffreys-Lindley está relacionado à escolha do modelo bayesiano, em que a probabilidade marginal se torna sem sentido quando π é umamedida σ- definida (isto é, uma medida com massa infinita) em vez de uma medida de probabilidade. A razão para essa dificuldade é que a massa infinita torna π e c π indistinguíveis de qualquer constante positiva

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$ . Em particular, o fator Bayes não pode ser usado e não deve ser usado quando um modelo possui um "plano" anterior.

O paradoxo original de Jeffreys-Lindley usa a distribuição normal como exemplo. Ao comparar os modelos e X ~ N ( θ , 1 ) o fator de Bayes, é B 12 = exp { - N ( ˉ x n ) 2 / 2

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ é bem definido É quandoπé uma adequada antes, mas se você tomar um normal antesN(0,τ2)emθe deixeτir ao infinito, o denominador vai a zero para qualquer valor de ˉ x ndiferente de zero e qualquer valor den. (A menos queτenestejam relacionados, mas isso fica mais complicado!) Se, em vez disso, você usar diretamenteπ(θ)=condecé uma constante necessariamente arbitrária, o fatorB deBayes $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$ $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ portanto, diretamente dependente de $\mathfrak{c}$.

Agora, se seus antecedentes são informativos (e, portanto, adequados), não há razão para o paradoxo de Jeffreys-Lindley ocorrer. Com um número suficiente de observações, o fator Bayes selecionará consistentemente o modelo que gerou os dados. (Ou, mais precisamente, o modelo dentro da coleção de modelos considerados para escolha de modelo mais próximo do modelo "verdadeiro" que gerou os dados.)