O que é amostragem importante?

Estou tentando aprender um aprendizado reforçado e esse tópico é realmente confuso para mim. Fiz uma introdução às estatísticas, mas simplesmente não conseguia entender esse tópico intuitivamente.

A amostragem por importância é uma forma de amostragem de uma distribuição diferente da distribuição de interesse , para obter mais facilmente estimativas melhores de um parâmetro a partir da distribuição de interesse. Normalmente, isso fornecerá estimativas do parâmetro com uma variação menor do que seria obtido por amostragem diretamente da distribuição original com o mesmo tamanho de amostra.

É aplicado em vários contextos. Em geral, a amostragem de diferentes distribuições permite que mais amostras sejam coletadas em uma parte da distribuição de interesse ditada pela aplicação (região importante).

Um exemplo pode ser que você deseja ter uma amostra que inclua mais amostras das caudas da distribuição do que a amostra aleatória pura da distribuição de interesse forneceria.

O artigo da wikipedia que eu vi sobre esse assunto é muito abstrato. É melhor olhar para vários exemplos específicos. No entanto, inclui links para aplicativos interessantes, como as redes bayesianas.

Um exemplo de amostragem importante nas décadas de 1940 e 1950 é uma técnica de redução de variância (uma forma do método de Monte Carlo). Veja, por exemplo, o livro Monte Carlo Methods, de Hammersley e Handscomb, publicado como Methuen Monograph / Chapman and Hall em 1964 e reimpresso em 1966 e posteriormente por outros editores. A seção 5.4 do livro aborda Amostragem de importância.

A amostragem por importância é um método de simulação ou Monte Carlo destinado à aproximação de integrais. O termo "amostragem" é um tanto confuso, pois não pretende fornecer amostras de uma determinada distribuição.

A intuição por trás da amostragem de importância é que uma integral bem definida, como pode ser expresso como uma expectativa para uma ampla gama de distribuições de probabilidade: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ onde f denota a densidade de uma distribuição de probabilidade e H é determinado por h e f . (Observe que H ( ⋅ ) geralmente é diferente de h ( ⋅ ) .)De fato, a escolha H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ leva às igualidadesH(x)f(x)=h(x)eI=Ef[H(X)]-sob algumas restrições no suporte def, ou seja,f(x)>0quandoh(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Portanto, como apontado por W. Huber em seu comentário, não há unicidade na representação de uma integral como expectativa, mas, ao contrário, uma matriz infinita de tais representações, algumas das quais são melhores que outras, uma vez que um critério para comparar eles é adotado. Por exemplo, Michael Chernick menciona a escolha de para reduzir a variação do estimador.$f$

Uma vez que essa propriedade elementar é entendida, a implementação da idéia é confiar na Lei dos Grandes Números, como em outros métodos de Monte Carlo, ou seja, simular [por meio de um gerador pseudo-aleatório] uma amostra de iid distribuído a partir de f e para usar a aproximação I = $(x_1,\ldots,x_n)$$f$que

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. é um estimador imparcial de $\mathfrak{I}$
2. converge quase certamente para $\mathfrak{I}$

Dependendo da escolha da distribuição , o estimador acima I pode ou não ter uma variância finita. No entanto, sempre existem opções de f que permitem uma variação finita e até mesmo uma variação arbitrariamente pequena (embora essas escolhas possam estar indisponíveis na prática). E também existem opções de f que fazem a amostragem importância estimador I muito pobre aproximação das I . Isso inclui todas as opções em que a variação fica infinita, embora um artigo recente de Chatterjee e Diaconis estude como comparar amostradores de importância com variação infinita. A foto abaixo é tirada de$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$minha discussão do artigo no blog e ilustra a fraca convergência de estimadores de variância infinita.

Amostragem de importância com distribuição de importância, distribuição de destino Exp (1), distribuição de Exp (1/10) e função de interesse . O verdadeiro valor da integral é 10 .$h(x)=x$$10$

[O texto a seguir é reproduzido em nosso livro Monte Carlo Statistical Methods .]

O exemplo a seguir de Ripley (1987) mostra por que realmente pode ser pago para gerar a partir de uma distribuição diferente da distribuição (original) aparece na integral ∫ X h ( x ) f ( x $f$ de interesse ou, em outras palavras, modificar a representação de uma integral como uma expectativa em relação a uma dada densidade.

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

Exemplo (probabilidade da cauda de Cauchy) Suponha que a quantidade de interesse seja a probabilidade, , que uma variável Cauchy C ( 0 , 1 ) seja maior que 2 , ou seja, p = ∫ + ∞$p$${\mathcal{C}}(0,1)$$2$ Quando p é avaliada através da média empírica p 1 =

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ de uma amostra iid X 1 ,…, X m $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ , a variância desse estimador é p ( 1 - p ) / m (igual a 0,127 / m, pois p = 0,15 ).$\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

Esta variação pode ser reduzido tendo em conta a natureza simétrica de , uma vez que a média P 2 = ${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$. An alternative method of evaluation for $p$ is therefore $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ for $U_j \sim {\mathcal{U}}_{[0,2]}$. The variance of ${\hat{p}}_3$ is $(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$ and an integration by parts shows that it is equal to $0.0285/m$. Moreover, since $p$ can be written as $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ this integral can also be seen as the expectation of ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$ against the uniform distribution on $[0,1/2]$ and another evaluation of $p$ is $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ when $Y_j \sim {\mathcal{U}}_{[0,1/2]}$. The same integration by parts shows that the variance of ${\hat{p}}_{4}$ is then $0.95 \; 10^{-4}/m$.

Compared with ${\hat{p}}_1$, the reduction in variance brought by ${\hat p}_4$ is of order $10^{-3}$, which implies, in particular, that this evaluation requires $\sqrt{1000} \approx 32$ times fewer simulations than $\hat p_1$ to achieve the same precision. $\blacktriangleright$