Integração Metropolis-Hastings - por que minha estratégia não está funcionando?

Suponha que eu tenho uma função $g(x)$ que desejo integrar

\int_{- \infty}^{\infty} g (x) d x .

$\int_{-\infty}^\infty g(x) dx.$ Obviamente, assumindo que

g (x)

$g(x)$ chega a zero nos pontos finais, sem explosões, boa função. Uma maneira com a qual estou brincando é usar o algoritmo Metropolis-Hastings para gerar uma lista de amostras

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \dots, x_n$ partir da distribuição proporcional a

g (x)

$g(x)$ , que está faltando a constante de normalização

N = \int_{- \infty}^{\infty} g (x) d x

$N = \int_{-\infty}^{\infty} g(x)dx$ que chamarei de

p (x)

$p(x)$ e, em seguida, calculando alguma estatística

f (x)

$f(x)$ nesses

x

$x$ 's:

\frac{1}{n} \sum_{i = 0}^{n} f (x_{i}) \approx \int_{- \infty}^{\infty} f (x) p (x) d x .

$\frac{1}{n} \sum_{i=0}^n f(x_i) \approx \int_{-\infty}^\infty f(x)p(x)dx.$

Como $p(x) = g(x)/N$ , posso substituir em $f(x) = U(x)/g(x)$ para cancelar $g$ da integral, resultando em uma expressão da forma

\frac{1}{N} \int_{- \infty}^{\infty} \frac{U (x)}{g (x)} g (x) d x = \frac{1}{N} \int_{- \infty}^{\infty} U (x) d x .

$\frac{1}{N}\int_{-\infty}^{\infty}\frac{U(x)}{g(x)} g(x) dx = \frac{1}{N}\int_{-\infty}^\infty U(x) dx.$ Portanto, desde que

U (x)

$U(x)$ integre a

1

$1$ ao longo dessa região, eu deveria obter o resultado

1 / N

$1/N$ , que eu poderia usar de maneira recíproca para obter a resposta que eu queria. Portanto, eu poderia pegar o intervalo da minha amostra (para usar os pontos da maneira mais eficaz)

r = x_{max} - x_{min}

$r = x_\max - x_\min$ e deixar

U (x) = 1 / r

$U(x) = 1/r$ para cada amostra que desenhei. Dessa forma

avalia como zero fora da região onde minhas amostras não estão, mas integra-se a

nessa região. Portanto, se eu pegar agora o valor esperado, devo obter:

U (x)

$U(x)$

1

$1$

E [\frac{U (x)}{g (x)}] = \frac{1}{N} \approx \frac{1}{n} \sum_{i = 0}^{n} \frac{U (x)}{g (x)} .

$E\left [\frac{U(x)}{g(x)}\right ] = \frac{1}{N} \approx \frac{1}{n} \sum_{i=0}^n \frac{U(x)}{g(x)}.$

Eu tentei testar isso em R para a função de exemplo . Nesse caso, eu não uso Metropolis-Hastings para gerar as amostras, mas uso as probabilidades reais para gerar amostras (apenas para testar). Não recebo os resultados que estou procurando. Basicamente, a expressão completa do que eu estaria calculando é: $g(x) = e^{-x^2}$ rnorm Na minha teoria, isso deve avaliar para

\frac{1}{n (x_{max} - x_{min})} \sum_{i = 0}^{n} \frac{1}{e^{- x_{i}^{2}}} .

$\frac{1}{n(x_{\max} - x_\min)} \sum_{i=0}^n \frac{1}{ e^{-x_i^2}}.$

. Chega perto, mas certamente não converge da maneira esperada, estou fazendo algo errado?

1 / \sqrt{π}

$1/\sqrt{\pi}$

ys = rnorm(1000000, 0, 1/sqrt(2))
r = max(ys) - min(ys)
sum(sapply(ys, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.6019741. 1/sqrt(pi) = 0.5641896

Editar para CliffAB

A razão pela qual eu uso o intervalo é apenas para definir facilmente uma função que não seja zero na região onde estão meus pontos, mas que se integra a no intervalo . A especificação completa da função é: $1$ $[-\infty, \infty]$ Não precisei usarcomo essa densidade uniforme. Eu poderia ter usado alguma outra densidade integrada a, por exemplo, a densidade de probabilidade

U (x) = {\begin{cases} \frac{1}{x_{max} - x_{min}} & x_{max} > x > x_{min} \\ 0 & otherwise. \end{cases}

$U(x) = \begin{cases} \frac{1}{x_\max - x_\min} & x_\max > x > x_\min \\ 0 & \text{otherwise.} \end{cases}$

U (x)

$U(x)$

1

$1$

No entanto, isso tornaria a soma das amostras individuais trivial, ou seja,

P (x) = \frac{1}{\sqrt{π}} e^{- x^{2}} .

$P(x) = \frac{1}{\sqrt{\pi}} e^{-x^2}.$

\frac{1}{n} \sum_{i = 0}^{n} \frac{P (x)}{g (x)} = \frac{1}{n} \sum_{i = 0}^{n} \frac{e^{- x_{i}^{2}} / \sqrt{π}}{e^{- x_{i}^{2}}} = \frac{1}{n} \sum_{i = 0}^{n} \frac{1}{\sqrt{π}} = \frac{1}{\sqrt{π}} .

$\frac{1}{n} \sum_{i=0}^n \frac{P(x)}{g(x)} = \frac{1}{n} \sum_{i=0}^n \frac{e^{-x_i^2}/\sqrt{\pi}}{e^{-x_i^2} } = \frac{1}{n} \sum_{i=0}^n \frac{1}{\sqrt{\pi}} = \frac{1}{\sqrt{\pi}}.$

Eu poderia tentar essa técnica para outras distribuições que se integram ao . No entanto, eu ainda gostaria de saber por que ele não funciona para uma distribuição uniforme. $1$

— Mike Flynn
fonte

Olhando rapidamente para isso, não sei exatamente por que você decidiu usar o intervalo (x). Condicionalmente válido, é extremamente ineficiente! O intervalo de uma amostra desse tamanho é praticamente a estatística mais instável que você pode obter.

— Cliff AB

@CliffAB Não há nada de especial em usar o intervalo, além de definir uma distribuição uniforme no intervalo em que estão meus pontos. Veja edições.

— Mike Flynn

Veremos isso mais adiante com mais detalhes. Mas algo a considerar é que, como se x é um conjunto de RVs uniformes, então como

, intervalo

. Mas se x é um conjunto de RVs normais não degenaratos, então como

n \to \infty

$n \rightarrow \infty$

(x) \to 1

$(x) \rightarrow 1$

n \to \infty

$n \rightarrow \infty$

range (x) \to \infty

$\text{range}(x) \rightarrow \infty$

— Cliff AB

@CliffAB você pode estar certo, acho que o motivo foi que os limites da integral não foram fixados e, portanto, a variação do estimador nunca convergirá ...

— Mike Flynn

Essa é uma questão mais interessante, que se relaciona à questão de aproximar uma constante normalizadora de uma densidade base em uma saída MCMC da mesma densidade . (Uma observação paralela é que a suposição correta a ser feita é que é integrável, chegar a zero no infinito não é suficiente.) $g$ $g$ $g$

Na minha opinião, a entrada mais relevante sobre esse tópico em relação à sua sugestão é um artigo de Gelfand e Dey (1994, JRSS B ), onde os autores desenvolvem uma abordagem muito semelhante para encontrar ao gerar a partir de . Um resultado deste artigo é que, para qualquer densidade de probabilidade [isso é equivalente ao seu ], tal que a seguinte identidade

\int_{X} g (x) d x

$\int_\mathcal{X} g(x) \,\text{d}x$

p (x) \propto g (x)

$p(x)\propto g(x)$

α (x)

$\alpha(x)$

U (x)

$U(x)$

{x; α (x) > 0} \subset {x; g (x) > 0}

$\{x;\alpha(x)>0\}\subset\{x;g(x)>0\}$

\int_{X} \frac{α (x)}{g (x)} p (x) d x = \int_{X} \frac{α (x)}{N} d x = \frac{1}{N}

$\int_\mathcal{X} \dfrac{\alpha(x)}{g(x)}p(x) \,\text{d}x=\int_\mathcal{X} \dfrac{\alpha(x)}{N} \,\text{d}x=\dfrac{1}{N}$ shows that a sample from

p

$p$ can produce an unbiased evaluation of

1 / N

$1/N$ by the importance sampling estimator

\hat{η} = \frac{1}{n} \sum_{i = 1}^{n} \frac{α (x_{i})}{g (x_{i})} x_{i} \overset{iid}{\sim} p (x)

$\hat\eta=\frac{1}{n}\sum_{i=1}^n \dfrac{\alpha(x_i)}{g(x_i)}\qquad x_i\stackrel{\text{iid}}{\sim}p(x)$ Obviously, the performances (convergence speed, existence of a variance, &tc.) of the estimator

\hat{η}

$\hat\eta$ do depend on the choice of

α

$\alpha$ [even though its expectation does not]. In a Bayesian framework, a choice advocated by Gelfand and Dey is to take

α = π

$\alpha=\pi$ , the prior density. This leads to

\frac{α (x)}{g (x)} = \frac{1}{ℓ (x)}

$\dfrac{\alpha(x)}{g(x)} = \dfrac{1}{\ell(x)}$ where

ℓ (x)

$\ell(x)$ is the likelihood function, since

g (x) = π (x) ℓ (x)

$g(x)=\pi(x)\ell(x)$ . Unfortunately, the resulting estimator

\hat{N} = \frac{n}{\sum_{i = 1}^{n} 1 / ℓ (x_{i})}

$\hat{N}=\dfrac{n}{\sum_{i=1}^n1\big/\ell(x_i)}$ is the harmonic mean estimator, also called the worst Monte Carlo estimator ever by Radford Neal, from the University of Toronto. So it does not always work out nicely. Or even hardly ever.

Your idea of using the range of your sample $(\min(x_i),\max(x_i))$ and the uniform over that range is connected with the harmonic mean issue: this estimator does not have a variance if only because because of the $\exp\{x^2\}$ appearing in the numerator (I suspect it could always be the case for an unbounded support!) and it thus converges very slowly to the normalising constant. For instance, if you rerun your code several times, you get very different numerical values after 10⁶ iterations. This means you cannot even trust the magnitude of the answer.

A generic fix to this infinite variance issue is to use for $\alpha$ a more concentrated density, using for instance the quartiles of your sample $(q_{.25}(x_i),q_{.75}(x_i))$ , because $g$ then remains lower-bounded over this interval.

When adapting your code to this new density, the approximation is much closer to $1/\sqrt{\pi}$ :

ys = rnorm(1e6, 0, 1/sqrt(2))
r = quantile(ys,.75) - quantile(ys,.25)
yc=ys[(ys>quantile(ys,.25))&(ys<quantile(ys,.75))]
sum(sapply(yc, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.5649015. 1/sqrt(pi) = 0.5641896

We discuss this method in details in two papers with Darren Wraith and with Jean-Michel Marin.

— Xi'an
fonte