Suponha que tenhamos uma variável aleatória que aceite valores não numéricos a, b, ce queira quantificar como a distribuição empírica de amostras dessa variável se desvia da distribuição verdadeira. A seguinte desigualdade (da Cover & Thomas ) se aplica neste caso.
Teorema 12.4.1 (Teorema de Sanov): Seja iid ∼ Q ( x ) . Seja E ⊆ P um conjunto de distribuições de probabilidade. Então Q n ( E ) = Q n ( E ∩ P n ) ≤ ( n + 1 ) | X | 2 - n D ( P ∗ |
ondeP∗=arg min P ∈ E D(P||Q), é a distribuição emEmais próxima deQna entropia relativa.
Essa desigualdade é bastante frouxa para pequenos . Para resultados binários, | X | = 2 , e o limite de Chernoff-Hoeffding é muito mais restrito.
Existe um limite igualmente rígido para ?