Entendendo as desigualdades de concentração da medida

No espírito desta pergunta Entendendo a prova de um lema usado na desigualdade de Hoeffding , estou tentando entender os passos que levam à desigualdade de Hoeffding.

O que tem mais mistério para mim na prova é a parte em que momentos exponenciais são calculados para a soma das variáveis iid, após o qual a desigualdade de Markov é aplicada.

Meu objetivo é entender: Por que essa técnica gera uma forte desigualdade e é a mais forte que podemos alcançar? Uma explicação típica refere-se ao momento que gera propriedades do expoente. No entanto, acho isso muito vago.

Uma publicação no blog de Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , pode conter algumas respostas.

Com esse objetivo em mente, minha pergunta é sobre três pontos no post de Tao, no qual eu estou preso e que espero que possa dar uma visão, uma vez explicado.

Tao deriva a seguinte desigualdade usando o k-ésimo momento Se isso é verdade para qualquer k, ele conclui um limite exponencial. É aqui que estou perdido.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
O lema de Hoeffding é apresentado: Lema 1 (lema de Hoeffding) Seja uma variável escalar que assume valores em um intervalo . Então, para qualquer , ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V uma r (X) \exp (O (t (b - uma)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ Em particular, A prova do Lema 1 começa com expectativas sobre a expansão do taylor $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - uma)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ .Por que a expansão pode ser limitada por esse termo quadrático? e como segue a equação 10?
Finalmente, um exercício é dado:
Exercício 1 Mostre que o fator (10) pode ser substituído por , e que esta é nítida. Isso forneceria uma prova muito mais curta do que a do Compreendendo a Prova de um Lema Usado na Desigualdade de Hoeffding , mas não sei como resolver isso. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Definitivamente, são bem-vindas quaisquer outras intuições / explicações sobre a prova da desigualdade ou a razão pela qual não podemos derivar um limite mais rígido.

probability probability-inequalities

— Leo
fonte

Você leu o artigo original de Hoeffding?

— Alecos Papadopoulos

@AlecosPapadopoulos Na verdade, não tenho. Tenho a impressão de que a derivação consiste em etapas algébricas tipicamente ensinadas em cursos de matemática sem a explicação que estou procurando. Você pode dizer o contrário?

— Leo

Eu sugiro que você leia. O URL estável no jstor é jstor.org/stable/2282952 . O que "tem mais mistério para você" são os Teoremas 1, 2 e 3 do artigo, cujas provas estão na seção 4 do artigo (não no final), e elas me parecem bastante claras. Não sei se você está procurando alguma intuição "não matemática" - se sim, ela nem sempre existe.

— Alecos Papadopoulos

$\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— gmravi2003
fonte

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

Ainda não examinei, mas suspeito que o exponencial goza de algumas propriedades específicas, incluindo aquelas que você nomeia, que são críticas: todos os coeficientes devem ser estritamente positivos e é útil que converja absolutamente para todo o lado. Mas acredito que há razões mais profundas pelas quais essa função é essencial, relacionada às propriedades das transformadas de Fourier e Laplace. Pode ser esclarecedor explorar as derivações das desigualdades de medida para ver exatamente quais propriedades da exponencial são realmente usadas! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Gostaria de lhe interessar em uma pergunta sobre a rigidez desse limite: stats.stackexchange.com/questions/77019/…

— Leo