Uma conversa com a desigualdade de Fano?

10

A desigualdade de Fano pode ser declarada de várias formas, e uma particularmente útil é devida (com uma pequena modificação) a Oded Regev :

Seja uma variável aleatória e onde é um processo aleatório. Suponha que exista um procedimento que, dado que possa reconstruir com probabilidade . Então $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$Eu (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

Em outras palavras, se eu puder reconstruir, há muitas informações mútuas no sistema.

Existe um "inverso" da desigualdade de Fano: algo da forma

"Dado um canal com informações mútuas suficientes, existe um procedimento para reconstruir a entrada da saída com erro que depende da informação mútua"

Seria demais esperar que esse procedimento também fosse eficiente, mas também seria interessante ver exemplos (naturais) onde a reconstrução existe, mas deve ser ineficiente.

it.information-theory randomized-algorithms

— Suresh Venkat
fonte

12

Considere o seguinte procedimento de reconstrução : dado , a saída tal que é maximizado. A probabilidade de que este procedimento seja bem-sucedido é . Isso também é , onde é a entropia mínima da variável aleatória condicionada em . Sabemos que , onde é a entropia padrão Shannon da variável aleatória . Agora temos apenas o limite superior $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ em termos de informação mútua . $I(X:Y)$

Escreva . Usando a desigualdade mencionada acima, ou . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

A probabilidade de que o procedimento seja bem-sucedido onde e são escolhidos aleatoriamente é , que por concavidade é pelo menos . Portanto, a probabilidade de êxito do procedimento é de pelo menos . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Este procedimento é ideal: dado qualquer procedimento de aleatoriedade , a probabilidade de sucesso é , que é maximizado ponto a ponto quando emite deterministicamente o mais provável . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
fonte

11

Então, há uma afirmação quantitativa que é o inverso da desigualdade de Fano que se segue desse argumento?

— mobius bolinho de massa 06/06

O que você quer dizer com quantitativo? O argumento que dei acima deve dizer: "Dado um canal com informações mútuas , existe um procedimento de reconstrução com erro no máximo ".

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Boa resposta e prova. Portanto, o limite da sua resposta também pode ser reescrito desde que por definição. Isso apareceu no IEEE ISIT 1994, em uma palestra de Baumer, com o melhor de meu conhecimento.

p_{e r r} \leq 1 1 - 2^{Eu (X; Y) - H (X)} = 1 1 - 2^{- H (X | Y)}, (1 1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Da mesma forma, pode-se obter onde está a entropia Renyi da ordemAqui, então o limite (2) é mais apertado que (1).

p_{e r r} \leq 1 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1 1}{1 1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
fonte