As informações mútuas podem obter valor maior que 1

Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior?

Obrigado, Amit.

information-theory mutual-information

— Amit
fonte

Sim, ele tem um limite superior, mas não 1.

A informação mútua (em bits) é 1 quando duas partes (estatisticamente) compartilham um bit de informação. No entanto, eles podem compartilhar um grande volume de dados arbitrário. Em particular, se eles compartilham 2 bits, então é 2.

A informação mútua é delimitada de cima pela entropia de Shannon das distribuições de probabilidade para partes únicas, ou seja, . $I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

— Piotr Migdal
fonte

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$