Estimador robusto de probabilidade marginal do MCMC?

9

Estou tentando calcular a probabilidade marginal de um modelo estatístico pelos métodos de Monte Carlo:

f (x) = \int f (x ∣ θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

A probabilidade é bem comportada - suave, côncava -, mas de alta dimensão. Eu tentei amostragem de importância, mas os resultados são instáveis e dependem muito da proposta que estou usando. Eu considerei brevemente fazer Monte Carlo Hamiltoniano para calcular amostras posteriores assumindo um uniforme anterior ao longo de e tomando a média harmônica, até que eu vi isso . Lição aprendida, a média harmônica pode ter variação infinita. Existe um estimador MCMC alternativo que é quase tão simples, mas que apresenta uma variação bem comportada? $\theta$

monte-carlo likelihood marginal

— David Pfau
fonte

Você também pode considerar a amostragem básica de Monte Carlo do anterior.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— probabilityislogic

11

Essa é uma solução possível. Nesse caso, lembre-se de que antecedentes impróprios não são mais permitidos, e os antecedentes com um suporte muito difundido provavelmente tornarão difícil a aproximação de Monte Carlo.

— Zen

11

Um livro completo sobre o assunto é Chen, Shao e Ibrahim (2001) . Você também pode procurar por palavras-chave como amostragem aninhada, amostragem de ponte, amostragem defensiva, filtros de partículas, Savage-Dickey.

— Xi'an

8

Que tal uma amostragem de importância recozida ? Tem uma variação muito menor do que a amostragem de importância regular. Já vi o chamado "padrão ouro", e não é muito mais difícil de implementar do que a amostragem de importância "normal". É mais lento no sentido de que você precisa fazer vários movimentos do MCMC para cada amostra, mas cada amostra tende a ser de alta qualidade, para que você não precise de muitas delas antes que suas estimativas se estabeleçam.

A outra alternativa importante é a amostragem de importância sequencial. Meu senso é que também é bastante simples de implementar, mas requer alguma familiaridade com o Monte Carlo seqüencial (AKA particle filtering), o que me falta.

Boa sorte!

Editado para adicionar : Parece que a postagem do blog Radford Neal ao qual você vinculou também recomenda a Amostragem de Importância Recozida. Deixe-nos saber se funciona bem para você.

— David J. Harris
fonte

2

Isso pode ajudar a esclarecer um pouco o cálculo da distribuição marginal. Além disso, eu recomendaria usar um método através de posteriores de potência introduzidas por Friel e Pettitt . Essa abordagem parece bastante promissora, embora tenha algumas limitações. Ou você poderia colocar a aproximação da distribuição posterior pela distribuição normal: se o histograma do MCMC parecer simétrico e normal, isso poderia ser uma aproximação bastante boa.

— Tomas
fonte