Tamanho efetivo da amostra para inferência posterior da amostragem MCMC

Ao obter amostras do MCMC para inferir um parâmetro específico, quais são os bons guias para o número mínimo de amostras efetivas que se deve buscar?

E esse conselho muda à medida que o modelo se torna mais ou menos complexo?

— Matt Albrecht
fonte

Meu palpite é que provavelmente dependerá da "constante" no

erro, que varia entre os modelos.

O (n^{- \frac{1}{2}})

$O(n^{-\frac{1}{2}})$

— probabilityislogic

A pergunta que você está fazendo é diferente de "diagnóstico de convergência". Digamos que você executou todos os diagnósticos de convergência (escolha seu (s) favorito (s)) e agora está pronto para iniciar a amostragem a partir do posterior.

Existem duas opções em termos de tamanho efetivo da amostra (ESS), você pode escolher um ESS univariado ou um ESS multivariado. Um ESS univariado fornecerá um tamanho de amostra eficaz para cada parâmetro separadamente, e os métodos conservadores determinam que você escolha a menor estimativa. Este método ignora todas as correlações cruzadas entre componentes. Provavelmente é isso que a maioria das pessoas usa há um tempo

$p$

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

$\Lambda$
$\Sigma$ $\Lambda$
$p$
$|\cdot|$

$\Lambda$ $\Sigma$ multiESS

Este artigo recente fornece um limite inferior teoricamente válido do número de amostras efetivas necessárias. Antes da simulação, você precisa decidir

$\epsilon$ $\epsilon$
$\alpha$
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Isso vale para qualquer problema (sob condições de regularidade). A maneira como esse método se adapta de um problema para outro é que a mistura lenta das cadeias de Markov leva mais tempo para atingir esse limite inferior, uma vez que o mESS será menor. Portanto, agora você pode verificar algumas vezes usando multiESSse sua cadeia de Markov atingiu esse limite; se não for, pegue mais amostras.

— Greenparker
fonte

(+1) Excelente resposta. Você sabe se a função multiESSfoi codificada para outros idiomas, como o MATLAB? (ou seria difícil reimplementar?)

— lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Estou feliz que você tenha conseguido codificá-lo no Matlab. Se possível, responda a este comentário quando estiver pronto, para que eu possa usá-lo. Obrigado

— Greenparker

Minha implementação do multiESS em MATLAB está disponível aqui . É uma versão funcional, embora precisasse de mais testes (não estou familiarizado com o R, caso contrário, compararia-o com a implementação do R).

— lacerbi

A convergência depende de várias coisas: o número de parâmetros, o modelo em si, o algoritmo de amostragem, os dados ...

Eu sugeriria evitar qualquer regra geral e empregar algumas ferramentas de diagnóstico de convergência para detectar um número apropriado de iterações de redução e redução de volume em cada exemplo específico. Veja também http://www.johnmyleswhite.com/notebook/2010/08/29/mcmc-diagnostics-in-r-with-the-coda-package/, http://users.stat.umn.edu/~geyer/mcmc/diag.html.

— Montecristo
fonte