Soma dos produtos das variáveis ​​aleatórias Rademacher

Sejam variáveis ​​aleatórias independentes assumindo valores ou com probabilidade 0,5 cada. Considere a soma . Desejo limitar a probabilidade . O melhor limite que tenho agora é onde c é uma constante universal. Isso é obtido através do limite inferior da probabilidade Pr (| x_1 + \ dots + x_n | <\ sqrt {t}) e Pr (| y_1 + \ dots + y_n | <\ sqrt {t}) pela aplicação de limites simples de Chernoff. Posso esperar obter algo significativamente melhor do que esse limite? Para iniciantes, posso pelo menos obter$x_1 \ldots x_a,y_1 \ldots y_b$$+1$$-1$$S = \sum_{i,j} x_i\times y_j$$P(|S| > t)$$2e^{-\frac{ct}{\max(a,b)}}$$c$$Pr(|x_1 + \dots + x_n|<\sqrt{t})$$Pr(|y_1 + \dots + y_n|<\sqrt{t})$$e^{-c\frac{t}{\sqrt{ab}}}$ . Se eu conseguir caudas sub-gaussianas, isso provavelmente seria o melhor, mas podemos esperar isso (acho que não, mas não consigo pensar em um argumento)?

A relação algébrica

$$S = \sum_{i,j} x_i y_j = \sum_i x_i \sum_j y_j$$

exibe como o produto de duas somas independentes. Como e são variáveis independentes de Bernoulli , é uma variável Binomial que foi duplicado e alterado. Portanto, sua média é e sua variação é . Da mesma forma tem uma média de e variância de . Vamos padronizá-los agora, definindo$S$$(x_i+1)/2$$(y_j+1)/2$$(1/2)$$X=\sum_{i=1}^a x_i$$(a, 1/2)$$0$$a$$Y=\sum_{j=1}^b y_j$$0$$b$

$$X_a = \frac{1}{\sqrt a} \sum_{i=1}^a x_i,$$

de onde

$$S = \sqrt{ab} X_a X_b = \sqrt{ab}Z_{ab}.$$

Com um alto (e quantificável) grau de precisão, à medida que cresce, aproxima-se da distribuição normal padrão. Portanto, vamos aproximar como vezes o produto de duas normais normais.$a$$X_a$$S$$\sqrt{ab}$

O próximo passo é perceber que

$$Z_{ab} = X_aX_b = \frac{1}{2}\left(\left(\frac{X_a+X_b}{\sqrt 2}\right)^2 - \left(\frac{X_a-X_b}{\sqrt 2}\right)^2 \right) = \frac{1}{2}\left(U^2 - V^2\right).$$

é um múltiplo da diferença dos quadrados de variáveis independentes normal padrão e . A distribuição de pode ser calculada analiticamente ( invertendo a função característica ): seu pdf é proporcional à função Bessel da ordem zero, . Porque esta função tem caudas exponenciais, podemos concluir imediatamente que a grande e e fixa , não há melhor aproximação para que dado na questão.$U$$V$$Z_{ab}$$K_0(|z|)/\pi$$a$$b$$t$${\Pr}_{a,b}(S \gt t)$

Resta algum espaço para melhorias quando um (pelo menos) de e não é grande ou em pontos na cauda do perto de . Cálculos diretos da distribuição de mostram uma redução gradual das probabilidades da cauda em pontos muito maiores que , aproximadamente além de . Esses gráficos log-lineares do CDF de para vários valores de (dados nos títulos) (variando aproximadamente os mesmos valores que , distinguidos pela cor em cada gráfico) mostram o que está acontecendo. Para referência, o gráfico do limite$a$$b$$S$$\pm a b$$S$$\sqrt{ab}$$\sqrt{ab\max(a,b)}$$S$$a$$b$$a$$K_0$a distribuição é mostrada em preto. (Como é simétrico em torno de , , basta observar a cauda negativa.)$S$$0$$\Pr(S \gt t) = \Pr(-S \lt -t)$

À medida que cresce, o CDF se aproxima da linha de referência.$b$

Caracterizar e quantificar essa curvatura exigiria uma análise mais fina da aproximação Normal às variáveis ​​binomiais.

A qualidade da aproximação da função de Bessel se torna mais clara nessas partes ampliadas (no canto superior direito de cada gráfico). Nós já estamos muito distantes. Embora a escala vertical logarítmica pode esconder diferenças substanciais, claramente pelo tempo atingiu a aproximação é bom para .$a$$500$$|S| \lt a\sqrt{b}$

---

Código R para calcular a distribuição de$S$

O seguinte levará alguns segundos para ser executado. (Ele calcula vários milhões de probabilidades para 36 combinações de e .) Em máquinas mais lentas, omitir as maiores um ou dois valores de e e aumentar o limite de trama inferior de para cerca de .$a$$b$ab$10^{-300}$$10^{-160}$

s <- function(a, b) {
  # Returns the distribution of S as a vector indexed by its support.
  products <- factor(as.vector(outer(seq(-a, a, by=2), seq(-b, b, by=2))))
  probs <- as.vector(outer(dbinom(0:a, a, 1/2), dbinom(0:b, b, 1/2)))
  tapply(probs, products, sum)
}

par(mfrow=c(2,3))
b.vec <- c(51, 101, 149, 201, 299, 501)
cols <- terrain.colors(length(b.vec)+1)
for (a in c(50, 100, 150, 200, 300, 500)) {
  plot(c(-sqrt(a*max(b.vec)),0), c(10^(-300), 1), type="n", log="y", 
       xlab="S/sqrt(ab)", ylab="CDF", main=paste(a))
  curve(besselK(abs(x), 0)/pi, lwd=2, add=TRUE)
  for (j in 1:length(b.vec)) {
    b <- b.vec[j]
    x <- s(a,b)
    n <- as.numeric(names(x))
    k <- n <= 0
    y <- cumsum(x[k])
    lines(n[k]/sqrt(a*b), y, col=cols[j], lwd=2)
  }
}

Comentário: editei o título na tentativa de refletir melhor que tipo de RVs são considerados na pergunta. Qualquer pessoa pode reeditar.

Motivação: Eu acho que não há necessidade de aceitar um limite superior, se pudermos derivar a distribuição de. ( ATUALIZAÇÃO : Não podemos ver os comentários e a resposta de Whuber).$|S_{ab}|$

Denote . É fácil verificar que 's têm a mesma distribuição que o ' s e o 's. A função geradora de momento é$Z_k = X_iY_j,\;\; k=1,...,ab$$Z$$X$$Y$

$$M_Z(t) = E[e^{zt}]=\frac 12e^{-t}+\frac 12e^t = \cosh(t)$$

Além disso, os são, a princípio, independentes em pares: A variável (os índices podem ser qualquer um), tem suporte com probabilidades correspondentes . Sua função de geração de momento é$Z$$W = Z_1+Z_2$$\{-2,0,2\}$$\{1/4,1/2,1/4\}$

$$M_{W}(t) = E[e^{(z_1+z_2)t}] = \frac 14e^{-2t}+\frac 12 +\frac 14e^{2t}=\\ =\frac 14(e^{-2t}+1)+ \frac 14(e^{2t}+1) = \frac 14 2e^{-t}\cosh(t)+\frac 14 2e^{t}\cosh(t)\\ =\cosh(t)\cdot \cosh(t) = M_{Z_1}(t)M_{Z_2}(t)$$

suspeitar que a independência total é válida, como segue (é óbvio para os mais sábios?): Para esta parte, indique . Então, pela regra da cadeia $Z_{ij}=X_iY_j$

$$P[Z_{ab},...,Z_{11}] = P[Z_{ab}\mid Z_{a,b-1},...,Z_{11}]\cdot ...\cdot P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}]$$

Pela independência entre pares, temos . Considere . e são condicionais independentes em portanto, temos a segunda igualdade pela independência entre pares. Mas isso implica que$P[Z_{12}\mid Z_{11}] = P[Z_{12}]$
$P[Z_{13},Z_{12}\mid Z_{11}]$$Z_{13}$$Z_{12}$$Z_{11}$

$$P[Z_{13}\mid Z_{12},Z_{11}] = P[Z_{13}\mid Z_{11}] = P[Z_{13}]$$

$$P[Z_{13}\mid Z_{12},Z_{11}]\cdot P[Z_{12}\mid Z_{11}]\cdot P[Z_{11}] = P[Z_{13},\,Z_{12},\,Z_{11}] = P[Z_{13}]\cdot P[Z_{12}]\cdot P[Z_{11}]$$

Etc (eu acho). ( ATUALIZAÇÃO : Acho errado . Independência provavelmente vale para qualquer trigêmeo, mas não para todo o grupo. Então, o que se segue é apenas a derivação da distribuição de uma simples caminhada aleatória, e não uma resposta correta para a pergunta - veja Wolfies e Respostas de Whuber).

Se a independência total realmente se mantiver, temos a tarefa de derivar a distribuição de uma soma de

$$S_{ab}=\sum_{k=1}^{ab}Z_k$$

que parece uma simples caminhada aleatória , embora sem a clara interpretação deste último como uma sequência.

Se o suporte de será o número inteiro par em incluindo zero, enquanto se o suporte de será o número inteiro ímpar em , sem zero. $ab=even$$S$$[-ab,...,ab]$$ab=odd$$S$$[-ab,...,ab]$

Tratamos o caso de . Indique como o número de assumem o valor . Então o suporte de pode ser escrito . Para qualquer , obtemos um valor único para . Além disso, devido a probabilidades simétricas e independência (ou apenas trocabilidade?), Todas as realizações conjuntas possíveis das variáveis são equivalentes. Então, contamos e descobrimos que a função de massa de probabilidade de é,$ab=odd$
$m$$Z$$-1$$S$$S\in \{ab-2m;m\in \mathbb Z_+\cup\{0\};m\le ab\}$$m$$S$$Z$$\{Z_1=z_1,..., Z_{ab}=z_{ab}\}$$S$

$$P(S=ab-2m)={ab \choose m}\cdot \frac 1{2^{ab}}, \qquad 0\le m\le ab$$

Definindo , e número ímpar por construção, e o elemento típico do suporte de , temos$s\equiv ab-2m$$S$

$$P(S=s)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab}}$$

Movendo-se para, como se , a distribuição de é simétrica em torno de zero, sem alocar a massa de probabilidade para zero e, portanto, a distribuição deé obtido "dobrando" o gráfico de densidade em torno do eixo vertical, dobrando essencialmente as probabilidades de valores positivos,$|S|$$ab=odd$$S$$|S|$

$$P(|S|=|s|)={ab \choose \frac{ab-s}{2}}\cdot \frac 1{2^{ab-1}}$$

Então a função de distribuição é

$$P(|S|\le|s|)=\frac 1{2^{ab-1}}\sum_{1\le i\le s,\, i\,odd}{ab \choose \frac{ab-i}{2}}$$

Portanto, para qualquer real , , obtemos a probabilidade requerida $t$$1\le t<ab$

$$P(|S|> t) = 1- P(|S|\le t) = 1-\frac 1{2^{ab-1}}\sum_{1\le i\le t,\, i\,odd}{ab \choose {\frac{ab-i}{2}}}$$

Observe que a indicação garante que a soma será executada apenas até os valores incluídos no suporte de- por exemplo, se estabelecermos , ainda será executado até , uma vez que é obrigado a ser estranho, além de ser um inteiro.$i=odd$$|S|$$t=10.5$$i$$9$

Não é uma resposta, mas um comentário sobre a interessante resposta de Alecos, que é muito longa para caber em uma caixa de comentários.

Sejam variáveis ​​aleatórias independentes do Rademacher e sejam variáveis ​​aleatórias independentes do Rademacher. Alecos observa que:$(X_1, ..., X_a)$$(Y_1, ..., Y_b)$

$$S_{ab}=\sum_{k=1}^{ab}Z_k \qquad \text{where} \qquad Z_k = X_i Y_j$$

"... parece um simples passeio aleatório ". Se fosse como um simples passeio aleatório, a distribuição de seria simétrica 'unimodal em forma de sino' em torno de 0.$S$

Para ilustrar que é não um simples passeio aleatório, aqui está uma rápida comparação Monte Carlo de:

• pontos triângulo: simulação de Monte Carlo do pmf de dado e$S$$a = 5$$b = 7$
• pontos redondos: simulação de Monte Carlo de uma caminhada aleatória simples com passos$n = 35$

Claramente, não é uma simples caminhada aleatória; Observe também que S não é distribuído em todos os números pares (ou ímpares).$S$

Monte Carlo

Aqui é o código (em Mathematica ) utilizado para gerar uma única iteração da soma , dado e :$S$$a$$b$

 SumAB[a_, b_] :=  Outer[Times, RandomChoice[{-1, 1}, a], RandomChoice[{-1, 1}, b]] 
                         // Flatten // Total 

Em seguida, 500.000 tais caminhos, dizer quando e , pode ser gerada com:$a = 5$$b = 7$

 data57 = Table[SumAB[5, 7], {500000}];

O domínio de apoio para esta combinação de e é:$a$$b$

{-35, -25, -21, -15, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 15, 21, 25, 35}