Quando a normalidade assintótica do posterior bayesiano (Bernstein-von Mises) falha?

Considere a função de densidade posterior dada (como de costume) por com densidade anterior e distribuição do observações , condicionais no valor do parâmetro .

Sob certas condições, a distribuição posterior é assintoticamente normal (um resultado conhecido como teorema de Bernstein-von Mises, veja egvd Vaart, Asymptotic Statistics , Seção 10.2, para argumentos rigorosos, ou Young & Smith, Essentials of Statistical Inference , Seção 9.12. , para uma discussão informal.)

Existem exemplos (esperançosamente elementares) em que o posterior bayesiano não é assintoticamente normal? Em particular, existem exemplos em que

1. $\pi$ e são continuamente diferenciável com respeito a ?$f$$\theta$
2. $\pi(\theta) > 0$ para todos ?$\theta$

Um exemplo que observei na literatura é que, onde são variáveis ​​aleatórias independentes de Cauchy com o parâmetro de localização . Nesse caso, com probabilidade positiva, existem múltiplos máximos locais da função de verossimilhança (ver Young & Smith, exemplo 8.3). Talvez isso possa apresentar um problema no teorema B-vM, embora eu não tenha certeza.$X_1, \dots, X_n$$\theta$

Atualização: As condições suficientes para o BvM são (conforme indicado no vd Vaart, Seção 10.2):

• os dados são obtidos da distribuição com o parâmetro fixo$\theta_0$

• o experimento é 'diferenciável em média quadrática' em com matriz de informações Fisher não singular$\theta_0$$I(\theta_0)$

• o prior é absolutamente contínuo em uma região em torno de$\theta_0$

• o modelo é contínuo e identificável

• existe um teste que separa de para alguns$H_0 : \theta = \theta_0$$H_1 : \|\theta -\theta_0\| \geq \varepsilon$$\varepsilon > 0$

1.O exemplo de Cauchy contradiz o teorema de Bernstein von-Mises?

Não. O teorema de Bernstein von-Mises não é aplicável quando a distribuição conjunta não possui um segundo momento diferenciável. E obviamente as variáveis ​​aleatórias conjuntas de Cauchy nem sequer têm um segundo momento finito. Essa condição requer uma suposição de energia limitada no coletor Riemanniano definida pela métrica Rao-Fisher que não é satisfeita por Cauchys.

2.Existem exemplos (esperançosamente elementares) em que o posterior bayesiano não é assintoticamente normal? Em particular, existem exemplos em que são continuamente diferenciáveis ​​em relação a ? para todos ?$\pi,f$$\theta$$\pi(\theta)>0$$\theta$

Sim. De fato, podemos escolher um inadequado (não informativo), tornando o posterior também inadequado. Por exemplo, é um exemplo trivial. Um posterior inadequado não pode ser normal. Por exemplo, [Rubio & Steel] (14) forneceu um exemplo em que Jeffereys anterior conduzia a um posterior inadequado que não pode ser normal, não importando o tamanho do tamanho da amostra.$\pi\propto C_0$$f\propto C_1$

Referência

[Rubio & Steel] Rubio, Francisco J. e Mark FJ Steel. "Inferência em modelos de escala de localização de duas peças com os anteriores de Jeffreys." Análise Bayesiana 9.1 (2014): 1-22.