Algoritmo aproximado de Metropolis

Algum tempo atrás, Xian perguntou Qual é o equivalente para cdfs do MCMC para pdfs? A resposta ingênua seria usar o algoritmo Metropolis "aproximado" na forma

Dado $X^{(t)} = x^{(t)}$
1. gerar $Y \sim q(y|x^{(t)})$
2. pegue
$X^{(t + 1)} = {\begin{cases} Y & with probability & min (\frac{F (Y + ε) - F (Y - ε)}{F (x^{(t)} + ε) - F (x^{(t)} - ε)}, 1) \\ x^{(t)} & otherwise. \end{cases}$ $X^{(t+1)} = \begin{cases} Y & \text{ with probability } & \min\left( \frac{F(Y+\varepsilon) - F(Y-\varepsilon)}{F(x^{(t)}+\varepsilon) - F(x^{(t)}-\varepsilon)} , 1 \right)\\ x^{(t)} & \text{ otherwise.} \end{cases}$

onde é um CDF de destino e é uma pequena constante. Isso nos permite usar o algoritmo Metropolis com CDFs. $F$ $\varepsilon$

A pergunta é: existe alguma razão para que isso possa realmente ser uma má idéia?

— Tim
fonte

Você viu minha resposta à pergunta de Xi'an? Acho que estamos propondo uma coisa semelhante (na verdade, você nem precisa usar o Metropolis, já que possui o CDF). Os problemas estão listados no final da minha resposta (o custo da avaliação da aproximação é exponencial no número de dimensões).

— lacerbi

@lacerbi thanks. Eu sei que, como tenho CDF, não preciso disso, é apenas curiosidade. Algo além do custo?

— Tim

@ Tim: obrigado pela proposta. Uma solução potencial quando é multidimensional é proceder pela amostragem de Gibbs e tomar derivativas uma direção por vez.

X

$X$

ϵ

$\epsilon$

— Xian

@ Xian, sim, isso pode ser facilmente estendido a Gibbs, MH etc.

— Tim

Não, não vejo por que isso é uma má ideia. Parece-me que é uma extensão natural (e interessante) extrair amostras de um CDF.

No entanto, acredito que a aceitação deve ser

min (\frac{F (Y + ε) - F (Y)}{F (x^{(t)} + ε) - F (x^{(t)})}, 1)

$\min\left( \frac{F(Y+\varepsilon) - F(Y)}{F(x^{(t)}+\varepsilon) - F(x^{(t)})} , 1 \right)$

porque por definição

lim_{ε \to 0} \frac{F (x + ε) - F (x)}{ε} = P D F (x)

$\lim_{\varepsilon\rightarrow 0}\frac{F(x + \varepsilon) - F(x)}{\varepsilon} = PDF(x)$

No entanto, é a primeira vez que vejo isso. Com um forte argumento para a amostragem de um CDF não trivial, isso pode se tornar uma publicação interessante.

— Jorge Leitao
fonte

O critério de aceitação proposto pelo OP é motivado pela expressão da diferença central da derivada como , consulte, por exemplo, math.stackexchange.com/a/888280/104295 . (Não faço ideia se há alguma razão para acreditar que uma dessas aproximações funcione melhor nesse caso).

lim_{ϵ \to 0} (F (x + ϵ) - F (x - ϵ)) / (2 ϵ)

$\lim_{\epsilon\rightarrow 0} (F(x+\epsilon) - F(x-\epsilon)) / (2\,\epsilon)$

— Juho Kokkala

A abordagem @JuhoKokkala +/- também trata os casos de fronteira de maneira uniforme.

— Tim

Algoritmo aproximado de Metropolis - isso faz sentido?