Como gerar uma quantidade não inteira de sucessos consecutivos em Bernoulli?

Dado:

1. Uma moeda com viés desconhecido $p$ (cabeça).
2. Um real estritamente positivo $a > 0$ .

Problema:

Gere uma variável aleatória de Bernoulli com viés .$p^{a}$

Alguém sabe como fazer isso? Por exemplo, quando é um número inteiro positivo, pode-se jogar a moeda vez e ver se todos os resultados foram Heads: se eles emitem '0', caso contrário, emitem '1'. A dificuldade está no fato de que não é necessariamente um número inteiro. Além disso, se eu soubesse o viés , poderia construir outra moeda com o viés desejado. $a$$a$$a$$p$

Podemos resolver isso através de alguns "truques" e um pouco de matemática.

Aqui está o algoritmo básico:

1. Gere uma variável aleatória geométrica com probabilidade de sucesso .$p$
2. O resultado dessa variável aleatória determina um valor conhecido fixo .$f_n \in [0,1]$
3. Gere uma variável aleatória usando lançamentos justos de moedas gerados a partir de lançamentos emparelhados em blocos da nossa moeda B e r ( p ) .$\mathrm{Ber}(f_n)$$\mathrm{Ber}(p)$
4. O resultado resultante será para qualquer a ∈ ( 0 , 1 ) , que é tudo o que precisamos.$\mathrm{Ber}(p^a)$$a \in (0,1)$

Para tornar as coisas mais digeríveis, vamos dividir as coisas em pedaços.

Peça 1 : Sem perda de generalidade, assuma que .$0 < a < 1$

Se , então podemos escrever p a = p n p b para algum número inteiro positivo n e algum 0 ≤ b < 1 . Mas, para quaisquer dois Bernoulli independentes, temos P ( X 1 = X 2 = 1 ) = p 1 p $a \geq 1$$p^a = p^n p^b$$n$$0 \leq b < 1$ Podemos gerar um p n Bernoulli da nossa moeda na maneira óbvia. Portanto, precisamos nos preocupar apenas em gerar B e r ( p a ) quando

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ $p^n$$\mathrm{Ber}(p^a)$ .$a \in (0,1)$

Peça 2 : Saiba como gerar uma arbitráriapartir de lançamentos justos de moedas.$\mathrm{Ber}(q)$

Existe uma maneira padrão de fazer isso. Expanda em sua expansão binária e, em seguida, use nossos lançamentos justos para "combinar" os dígitos de q . A primeira correspondência determina se declaramos um sucesso ("cara") ou falha ("coroa"). Se q n = $q = 0.q_1 q_2 q_3 \ldots$$q$$q_n = 1$ e nossa moeda jogar for cara, declare cara, se e nossa moeda jogar for coroa, declare coroa. Caso contrário, considere o dígito subsequente contra um novo lançamento de moeda.$q_n = 0$

Peça 3 : Saiba como gerar uma troca de moedas justa com as injustas com viés desconhecido.

Isso é feito, assumindo , lançando a moeda em pares. Se conseguirmos H T , declarar uma cabeça; se conseguirmos T $p \in (0,1)$$HT$$TH$ , declarar uma coroa e repetir o experimento até que um dos dois resultados mencionados ocorra. Eles são igualmente prováveis, então deve ter probabilidade .$1/2$

Peça 4 : Um pouco de matemática. (Taylor para o resgate.)

Ao expandir torno de p 0 = 1 , o teorema de Taylor afirma que p a = 1 - a ( 1 - p ) - a $h(p) = p^a$$p_0 = 1$ Note-se que porque 0 < um < 1 , cada prazo após o primeiro énegativa, de modo que temos p um = 1 - ∞ Σ n = 1 b n ( 1 - P )

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$ onde 0 ≤ b n ≤ 1 são conhecidosa priori. Portanto onde,epara. $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$L ~ L um e o m ( $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ F 0 = 0 f n = Σ n k = 1 b k n ≥ $G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

E já sabemos como usar nossa moeda para gerar uma variável aleatória geométrica com probabilidade de sucesso .$p$

Peça 5 : Um truque de Monte Carlo.

Seja uma variável aleatória discreta, levando valores em com . Deixe . Então [ 0 , 1 ] P ( X = x n ) = p n U ∣ X ∼ b e r ( X ) P ( U = 1 ) = ∑ n x n p n$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

Mas, considerando e , vemos agora como gerar uma variável aleatória e isso é equivalente a gerar uma um.x n = f n B e r ( 1 - p a ) B e r ( p a$p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

A resposta a seguir é boba?

Se são independentes B e r ( p ) e Y n tem distribuição B e r ( ( ∑ n i = 1 X i / n ) a ) , então Y n será distribuído aproximadamente como B e r ( p a ) , quando n → ∞ .$X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$

Portanto, se você não conhece , mas pode jogá-la várias vezes, é possível obter amostras (aproximadamente) de um B e r ( p a$p$$\mathrm{Ber}(p^a)$ variável aleatória .

Exemplo RCódigo de :

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Resultados:

p^a = 0.01234568 
est = 0.012291 

Publiquei a seguinte exposição desta pergunta e a resposta do cardeal no fórum de Discussão Geral da atual classe Analytic Combinatorics no Coursera, "Aplicação de séries de poder à construção de uma variável aleatória". Estou publicando uma cópia aqui como wiki da comunidade para disponibilizá-la publicamente e de forma mais permanente.

---

Havia uma pergunta e resposta interessantes no stat.stackexchange.com relacionadas a séries de potência: "Como gerar uma quantidade não inteira de sucessos consecutivos em Bernoulli?" Parafraseando a pergunta e a resposta do cardeal.

Suponha que tenhamos uma moeda possivelmente injusta que seja cara com probabilidade e um número real positivo α . Como podemos construir um evento cuja probabilidade é p $p$$\alpha$$p^\alpha$ ?

Se fosse um número inteiro positivo, poderíamos simplesmente jogar a moeda α vezes e permitir que o evento fosse que todos os lançamentos fossem cara. No entanto, se α não é um inteiro, digamos 1 / 2 , então isso não faz sentido, mas podemos usar essa idéia para reduzir ao caso em que 0 < α < 1 . Se queremos construir um evento cuja probabilidade é p 3,5 , tomamos a intersecção de eventos independentes, cujas probabilidades são p 3 e p 0,5 .$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$

Uma coisa que podemos fazer é construir um evento com qualquer probabilidade conhecida . Para fazer isso, podemos construir um fluxo de bits justas lançando repetidamente a moeda duas vezes, lendo H T como 1 e T H como 0 , e ignorando H H e T T . Comparamos esse fluxo com a expansão binária de p ′ = 0. a 1 a 2 a 3 . . . $p' \in [0,1]$$HT$$1$$TH$$0$$HH$$TT$$p' = 0.a_1a_2a_3..._2$. O evento em que o primeiro desacordo é onde tem probabilidade p ' . Como não conhecemos p α , não podemos usá-lo diretamente, mas será uma ferramenta útil.$a_i=1$$p'$$p^\alpha$

A idéia principal é que gostaríamos de usar a série de potências para ondep=1-q. Podemos construir eventos cujas probabilidades sãoqnlançando a moedanvezes e ver se são todas caudas, e podemos produzir um evento com probabilidadep′qncomparando os dígitos binários dep′com um fluxo de bits razoável, como acima e verificando se$p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$$p=1-q$$q^n$$n$$p' q^n$$p'$$n$ arremessos são todos caudas.

Construa uma variável aleatória geométrica com o parâmetro p . Este é o número de caudas antes da primeira cabeça em uma sequência infinita de lançamentos de moedas. P ( G = n ) = ( 1 - p ) n p = q n p . (Algumas pessoas usam uma definição que difere de $G$$p$$P(G=n) = (1-p)^np = q^n p$$1$ )

Dada uma sequência , Podemos produzir t G : Inverter a moeda até à primeira cabeça, e se houver G caudas antes da primeira cabeça, levar o elemento da sequência de índice G . Se cada t n ∈ [ 0 , 1 ] , podemos comparar t G com uma variável aleatória uniforme em [ 0 , 1 ] (construída como acima) para obter um evento com probabilidade E [ $t_0, t_1, t_2, ...$$t_G$$G$$G$$t_n \in [0,1]$$t_G$$[0,1]$$E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$ .

Isso é quase o que precisamos. Gostaríamos de eliminar esse para usar a série de potências para p α em q .$p$$p^\alpha$$q$

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Considere . Sejatna soma dos coeficientes deqaqn. Em seguida,1-pα=ΣntnQnp. Cadatn∈[0,1],uma vez que os coeficientes são positivos e somam1-0α=1, para que possamos construir um evento com probabilidade1-p$1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$$t_n$$q$$q^n$$1-p^\alpha = \sum_n t_n q^n p$$t_n\in [0,1]$$1-0^\alpha = 1$$1-p^\alpha$comparando um fluxo justo pouco com a expansão binária de . O complemento tem probabilidade p $t_G$$p^\alpha$ conforme necessário.

---

Novamente, o argumento é devido ao cardeal.

A resposta muito completa de das contribuições cardinais e subsequentes inspirou a seguinte observação / variante.

Deixe PZ repousar "Probabilidade de Zero" . Se X n é uma sequência iid Bernoulli com PZ q , então M n : = max ( X 1$q:=1-p$$X_n$$q$ é um Bernoulli rv com PZ q n . Agora fazendo n ou seja aleatório, substituindo-o por um RV inteiro N ≥ 1 leva a Bernoulli rv H N com P r { M N = 0 } = ∞ Σ n = 1 P r { M N = $M_n := \max(X_1,\,X_2,\,\dots, X_n)$$q^n$$n$$N \geq 1$$M_N$ Portanto, se 0 < a < 1 e se considerarmos P r { N = n } = b n darespostado cardeal, encontramos P r { M N = 0 } = 1 - p a e 1 - M N é B e r ( p a ) como desejado. Isso é realmente possível, uma vez que os coeficientes b

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ $0 < a < 1$$\mathrm{Pr}\{N =n\} =b_n$$\mathrm{Pr}\{M_N =0\} = 1- p^a$$1-M_N$$\mathrm{Ber}(p^a)$$b_n$satisfaça e eles somam 1 .$b_n \geqslant 0$$1$

A distribuição discreta de depende apenas de a com 0 < a < 1 , lembre-se P r { N = n } = $N$$a$$0 < a < 1$ Tem características interessantes. Acontece que ele tem uma expectativa infinita e um comportamento pesado na cauda

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ com c = - 1 / Γ ( - a ) > $n \,b_n \sim c/n^a$$c = -1/\Gamma(-a) >0$ .

Embora seja o máximo de N rvs, sua determinação precisa de um número de X k que é ≤ N, pois o resultado é conhecido assim que um X k é 1 . O número de X k calculado é geometricamente distribuído.$M_N$$N$$X_k$$\leq N$$X_k$$1$$X_k$