Adivinhando um baixo valor de entropia em várias tentativas

9

Suponha que Alice tenha uma distribuição sobre um domínio finito (mas possivelmente muito grande), de modo que a entropia (Shannon) de seja superior limitada por uma constante arbitrariamente pequena . Alice desenha um valor de e, em seguida, pede a Bob (que sabe ) que adivinhe . $\mu$ $\mu$ $\varepsilon$ $x$ $\mu$ $\mu$ $x$

Qual é a probabilidade de sucesso de Bob? Se for permitido apenas um palpite, é possível diminuir o limite dessa probabilidade da seguinte forma: a entropia superior limita a min-entropia, para que exista um elemento com probabilidade de pelo menos . Se Bob escolher esse elemento como seu palpite, sua probabilidade de sucesso será de . $2^{-\varepsilon}$ $2^{-\varepsilon}$

Agora, suponha que Bob está autorizado a fazer várias suposições, dizem suposições, e Bob ganha se uma de suas suposições é correta. Existe um esquema de adivinhação que melhora a probabilidade de sucesso de Bob? Em particular, é possível mostrar que a probabilidade de falha de Bob diminui exponencialmente com ? $t$ $t$

it.information-theory pr.probability

— Ou Meir
fonte

10

A melhor aposta de Bob é adivinhar os valores com maior probabilidade. $t$

$t$

1 - 2^{- H_{2} (μ) (1 - \frac{\log t}{\log n})} \approx \ln 2 (1 - \frac{\log t}{\log n}) H_{2} (μ),

$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$

n

$n$

t

$t$

$\delta$ $-x\log x$ $\mu$ $a,b,\ldots,b;b,\ldots,b,c$ $a\geq b\geq c$ $a+(t-1)b = 1-\delta$ $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$ $t-1+\lfloor\frac{\delta}{b}\rfloor$ $b$ $s = \lfloor\frac{\delta}{b}\rfloor$ $b$ $s$

— Yuval Filmus
fonte

Obrigado pela resposta! Tentei a abordagem de otimização que você sugere, mas não conseguiu obter boas estimativas.

— Ou Meir

Olá Yuval, depois de mais trabalho, parece que essa abordagem de otimização produz a solução. Infelizmente, também neste caso, o erro diminui apenas inversamente-logaritmicamente no número de suposições. Obrigado!

— Ou Meir

7

$X$ $N$ $N+H(X)$ $1/2$

Essa é parte da razão pela qual as pessoas examinaram as entropias de Renyi.

— kodlu
fonte