Como distribuir os desenhos de maneira ideal ao calcular várias expectativas

Suponha que desejemos calcular alguma expectativa:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Suponha que queremos aproximar isso usando a simulação de Monte Carlo.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Mas suponhamos que é caro para extrair amostras a partir de ambas as distribuições, de modo que só pode dar ao luxo de chamar um número fixo . $K$

Como devemos alocar ? Os exemplos incluem empates para cada distribuição, ou, no extremo, um empate no exterior e empates no interior, vice-versa, etc ..... $K$ $K/2$ $K-1$

Minha intuição me diz que isso tem a ver com a variação / entropia das distribuições relativas umas às outras. Suponhamos que o exterior é um ponto de massa, em seguida, a divisão de que minimiza o erro MC seria desenhar um do e desenhar do . $K$ $Y$ $K-1$ $X|Y$

Espero que isso esteja claro.

— wolfsatthedoor
fonte

Fixa-lo para você

— wolfsatthedoor

O "vice-versa" e o seu comentário à resposta de @ Xi'ans parecem indicar que você considera possível desenhar a variável externa mais vezes que a variável interna, mas como isso pode fazer sentido - não são todos os que não fazem nada internos são desperdiçados?

0

$0$

— Juho Kokkala

Justo, mínimo um empate por fora, eu acho. Ou você poderia pensar em programá-lo para salvar a desenhar suponho

— wolfsatthedoor

@robertevansanders Confirme se a interpretação de sua pergunta nas duas primeiras frases da resposta de Xi'ans está correta #

— Juho Kokkala

Como você disse, sim, mas mude yex

— wolfsatthedoor

Essa é uma pergunta muito interessante, com pouca documentação na literatura de Monte Carlo, exceto em relação à estratificação e à Rao-Blackwellisation . Isso possivelmente se deve ao fato de que os cálculos da variação condicional esperada e da variação da expectativa condicional raramente são viáveis.

Primeiro, vamos supor que você execute simulações de , e para cada simulado , execute simulações de , . A sua estimativa de Monte Carlo é então O variância desta estimativa é decomposta da seguinte forma $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ Portanto, se alguém deseja minimizar essa variação, a melhor opção é

R = K

$R=K$ . Implicando que . Exceto quando o primeiro termo de variação é nulo, caso em que não importa. No entanto, conforme discutido nos comentários, a suposição é irrealista, pois não leva em consideração a produção de um [ou assume que isso é gratuito].

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Agora vamos assumir diferentes custos de simulação e a restrição orçamentária , o que significa que o 'custo s vezes mais para simular que o ' s. A decomposição acima da variação é então que pode ser minimizada em como [o número inteiro mais próximo sob as restrições e ], exceto quando a primeira variância é igual a zero, nesse caso $R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$ . Quando , a variação mínima corresponde a um máximo , o que leva a no formalismo atual.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Observe também que essa solução deve ser comparada com a solução simétrica quando a integral interna estiver em dada a e a integral externa estiver contra a marginal em (assumindo que as simulações também sejam viáveis nessa ordem). $X$ $Y$ $Y$

Uma extensão interessante para a pergunta seria considerar um número diferente de simulações para cada simulado , dependendo do valor . $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
fonte

Na conclusão final, você parece estar assumindo mas no cenário da pergunta uma vez que os empates da variável externa também devem ser contados. O resultado aqui diz que, se a amostragem da variável externa estiver livre, é claro que se deve amostrar uma nova externa para cada interna. (Além disso, o papel de e são ligados aqui em comparação com a pergunta, mas que, naturalmente, não importa).

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

— Juho Kokkala

Sim, mas podemos decidir o valor de ... Considere a configuração degenerada em que a var externa é tão constante. É melhor amostrar a constante uma vez e vezes, em vez das constantes vezes e vezes (que é o que implicaria)? Ou estou completamente entendendo mal a pergunta? (Eu só agora ler a segunda frase do seu comentário - não é a suposição declarado na pergunta que eles têm o mesmo custo)

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

— Juho Kokkala

@ Xian Sim Kolkata está correta, sua solução geralmente não pode ser mantida. Suponha agora que a variável interior tem uma distribuição degenerada eo exterior tem variação significativa, então você gostaria de experimentar como poucos interior desenha possível

— wolfsatthedoor

Eu acho que sua resposta não pode estar certa. Suponha que a distribuição no interior é degenerada e o exterior é grande variação, como pode ser S 1

— wolfsatthedoor

@robertevansanders: se a distribuição interna é degenerada, , portanto escolhemos o número inteiro mais próximo em as restrições e , o que significa usar para tornar mais próximo possível de .

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$

— Xian