Qual é o significado de Informações Mútuas além do cálculo numérico?

Além da equação bruta para o cálculo de informações mútuas, o que isso significa em termos físicos? Por exemplo: Na Teoria da Informação, sabemos que a entropia é o menor esquema de compactação sem perdas que podemos usar em um alfabeto com uma distribuição de probabilidade específica.

O que isso significa em termos de informações mútuas?

Antecedentes: estou tentando calcular as informações mútuas de palavras uni grama e determinar de qual dos dois livros eles vieram.

essencial

A informação mútua, por definição, relaciona duas variáveis ​​aleatórias (VR) e mede a dependência entre os dois RVs da perspectiva do conteúdo da informação, isto é, a medida da quantidade de informação contida por um VR sobre o outro VR. E informação mútua é uma quantidade simétrica, ou seja, .$I(X;Y) = I(Y; X)$

No caso de um canal de comunicação, a capacidade máxima alcançável para o canal é o máximo de informações mútuas entre a entrada e a saída do canal .$C = \max_{p(x)} I(X; Y)$

No seu caso, os dois RVs e corresponderiam a livros e palavras. A informação mútua mede a quantidade de informação comum entre um par (livro, palavra). Obviamente, você associaria a palavra ao livro com o qual você tem o máximo de informações mútuas. Essa é a abordagem máxima de informações mútuas.$X$$Y$

Duas abordagens intuitivas adicionais sobre informações mútuas:

• $p(x, y)$$p(x)$$p(y)$$p(x) \times p(y)$$p(x, y)$- essa distância é 0 quando as duas variáveis ​​são independentes. Uma distância probabilística comum entre variáveis ​​é a divergência de Kullback-Leibler. Se você considerar a divergência de Kullback-Leibler entre a distribuição conjunta e o produto dos marginais de duas variáveis ​​aleatórias, você terá ... informações mútuas.

• $N$$(x, y)$$N \times H(X) + N \times H(Y)$$N \times H(X, Y)$$\frac{N \times H(X) + N \times H(Y) - N \times H(X, Y)}{N} = I(X,Y)$

Porém, não tenho certeza do seu exemplo ... Informações mútuas são calculadas entre duas variáveis ​​aleatórias (distribuições). Eu posso ver como "livro" pode representar a distribuição de palavras em um livro; mas não tenho certeza do que "palavra" significa aqui. A informação mútua também requer que as observações "emparelhadas" sejam computadas.