O que é um limite inferior apertado no tempo do coletor de cupons?

20

No problema clássico do colecionador de cupons , é sabido que o tempo necessário para concluir um conjunto de cupons escolhidos aleatoriamente satisfaz , e . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Esse limite superior é melhor que o dado pela desigualdade de Chebyshev, que seria aproximadamente $1/c^2$ .

Minha pergunta é: existe um limite inferior melhor que Chebyshev correspondente para $T$ ? (por exemplo, algo como $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— David
fonte

Um óbvio limite inferior é

Pr (T < n) = 0

$\Pr(T<n) = 0$ , mas eu acho que você está ciente de que ...

— Onestop

14

Estou fornecendo isso como uma segunda resposta, pois a análise é completamente elementar e fornece exatamente o resultado desejado.

Proposição Para $c > 0$ e $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

A ideia por trás da prova é simples:

Representa o tempo até que todos os cupões são recolhidos como $T = \sum_{i=1}^n T_i$ , onde $T_i$ é o tempo que o $i$ th (até agora) único cupão é recolhido. O $T_i$ são variáveis aleatórias geométricas com tempos médios de $\frac{n}{n-i+1}$ .
Aplique uma versão do Chernoff acoplado e simplifique.

Prova

Para qualquer e qualquer , temos que $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Como e são independentes, podemos escrever $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Agora, como é geométrico, digamos com probabilidade de sucesso , um cálculo simples mostra $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

O para o nosso problema é , , , etc. Portanto, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Vamos escolher e por algum . Então e , produzindo $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Juntando isso, obtemos que

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

como desejado.

— cardeal
fonte

Isso é muito bom e exatamente o que o médico pediu. Obrigado.

— David

@ David, apenas curioso: Qual é o aplicativo pretendido?

— cardeal

Longa história. Estou tentando provar um limite inferior para o tempo de mistura de uma cadeia de Markov que eu criei para analisar o tempo de execução de um algoritmo no qual estou interessado - o que acaba por reduzir ao limite inferior oc problema de coletor. BTW, eu estava brincando tentando encontrar exatamente esse tipo de encadernação no estilo Chernoff, mas não tinha descoberto como me livrar desse produto no . Boa chamada escolhendo :-).

i

$i$

s = 1 / n

$s = 1/n$

— David

@ David, , embora quase certamente subótimo, parecia a coisa mais óbvia a se tentar, uma vez que dava , que é o mesmo termo que o obtido na derivação para o limite superior.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— cardeal

1

Pedido : A prova que dei acima é minha. Eu trabalhei nisso por prazer, pois o problema me intrigou. No entanto, não reivindico novidade. De fato, não consigo imaginar que uma prova semelhante usando uma técnica semelhante ainda não exista na literatura. Se alguém souber de uma referência, por favor, postá-lo como um comentário aqui. Eu ficaria muito interessado em saber de um.

— cardeal

9

Embora o @cardinal já tenha dado uma resposta que fornece exatamente o limite que eu estava procurando, encontrei um argumento semelhante ao estilo Chernoff que pode fornecer um limite mais forte:

Proposição : (isso é mais forte para )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Prova :

Como na resposta do @ cardinal, podemos usar o fato de que é uma soma de variáveis aleatórias geométricas independentes com probabilidades de sucesso . Daqui resulta que e . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Defina agora novas variáveis e . Podemos então escrever $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Calculando as médias, temos

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ onde a desigualdade decorre dos fatos que também para .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Portanto, como , podemos escrever $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

Minimizando , finalmente obtemos $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— David
fonte

1

(+1) Modulo alguns erros menores, isso é legal. Expandir algo próximo da média, como você fez, geralmente funciona melhor. Não estou surpreso ao ver a convergência de ordem superior à luz dos resultados assintóticos. Agora, se você mostrar um limite superior semelhante, isso prova é subexponencial na terminologia de Vershynin, que tem muitas implicações em relação à concentração da medida.

(T - n \log n) / n

$(T-n\log n)/n$

— cardeal

1

O argumento não parece generalizar diretamente para o limite superior. Trocando por (e por ), pode-se seguir as mesmas etapas até o ponto de calcular . Nesse ponto, no entanto, o melhor que posso fazer é usar , que ainda deixa e eu não 't sabe o que fazer com este

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - s / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— David

2

Curiosamente, porém, todo o argumento (para o limite inferior) parece funcionar não apenas para o problema do coletor de cupons, mas para qualquer soma de variáveis geométricas independentes não idênticas e com variação limitada. Especificamente: dado , onde cada é uma GV independente com probabilidade de sucesso , e onde , então

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - a) \leq e^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— David

4

Nota importante : Decidi remover a prova que dei originalmente nesta resposta. Foi mais longo, mais computacional, usou martelos maiores e provou um resultado mais fraco em comparação com a outra prova que eu dei. Ao redor, uma abordagem inferior (na minha opinião). Se você estiver realmente interessado, suponho que você possa ver as edições.

Os resultados assintóticos que citei originalmente e que ainda são encontrados abaixo nesta resposta mostram que, como , podemos fazer um pouco melhor do que o limite provado na outra resposta, que vale para todos os . $n \to \infty$ $n$

Os seguintes resultados assintóticos são válidos

P (T > n \log n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

e

P (T \leq n \log n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

A constante e os limites são tomados como . Observe que, embora estejam separados em dois resultados, eles são praticamente o mesmo resultado, pois não é obrigado a ser não-negativo nos dois casos. $c \in \mathbb{R}$ $n \to \infty$ $c$

Veja, por exemplo, Motwani e Raghavan, Randomized Algorithms , pp. 60--63 para uma prova.

Além disso : David gentilmente fornece uma prova de seu limite superior declarado nos comentários a esta resposta.

— cardeal
fonte

Sim, vale para todo fixo . Uma prova (muito simples) pode ser encontrada, por exemplo, no livro de Levin, Peres e Wilmer, Markov Chains and Mixing Times, Proposition 2.4. A prova não funciona para o limite inferior, no entanto.

n

$n$

— David

1

De fato, eu também poderia transcrever a prova aqui: "Seja o evento em que o ésimo [cupom] não aparece entre os primeiros cupons sorteados. Observe primeiro que . Como cada tentativa tem probabilidade de não receber o cupom e as tentativas são independentes, o lado direito acima é delimitado acima por , provando (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— David

@ David, isso é agradável e simples o suficiente. Eu rapidamente comecei a expandir a fórmula de inclusão-exclusão por outro termo, mas não cheguei a lugar nenhum rapidamente e não tive tempo de analisá-lo mais. O evento é equivalente ao evento em que nenhum cupom é deixado após as avaliações de . Deve haver um martingale associado a isso. Você tentou a desigualdade de Hoeffding na martingale associada (presumida)? O resultado assintótico sugere forte concentração da medida.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— cardeal

@ David, há um sinal na sua prova acima, mas tenho certeza de que isso é óbvio para outros leitores também.

— cardeal

@ David, por favor, veja minha outra resposta postada para sua pergunta. O método é diferente do limite superior que você fornece, mas as ferramentas empregadas são quase tão elementares, em contraste com a resposta que eu dei aqui.

— cardeal

2

Benjamin Doerr fornece (no capítulo "Analisando heurísticas de pesquisa randomizada: ferramentas da teoria das probabilidades" no livro "Teoria das heurísticas de pesquisa randomizada", consulte o link para um PDF on-line) uma prova bastante simples de

Proposição Seja o tempo de parada do processo de coleta de cupons. Então . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Isso parece dar os assintóticos desejados (da segunda resposta do @ cardeal), mas com a vantagem de ser verdadeiro para todos os e . $n$ $\epsilon$

Aqui está um esboço de prova.

Esboço de prova: Seja o evento em que o ésimo cupom é coletado nos primeiros sorteios. Assim, . O fato principal é que os estão correlacionados negativamente, para qualquer , . Intuitivamente, isso é bastante claro, pois saber que o ésimo cupom nos primeiros draws tornaria menos provável que o -ésimo cupom também fosse sorteado nos primeiros draws. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Pode-se provar a afirmação, mas ampliando o conjunto em 1 a cada etapa. Em seguida, ele reduz a mostrar que , para . Equivalentemente, calculando a média, reduz-se a mostrar que . Doerr apenas fornece um argumento intuitivo para isso. Uma avenida para uma prova é a seguinte. Pode-se observar que, condicionado ao cupom que vem depois de todos os cupons em , que a probabilidade de sacar um novo cupom de depois de sacar até agora é agora , em vez do anterior $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Assim, decompondo o tempo para coletar todos os cupons como uma soma de variáveis aleatórias geométricas, podemos ver que o condicionamento no código vindo depois que aumenta as probabilidades de sucesso e, portanto, fazer o condicionamento apenas aumenta a probabilidade de coletar os cupons mais cedo ( por dominância estocástica: cada variável aleatória geométrica é aumentada, em termos de dominância estocástica, pelo condicionamento, e essa dominância pode ser aplicada à soma). $j$ $I$

Dada essa correlação negativa, segue-se que , que fornece a limite desejado com . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
fonte