Ganho de informações, informações mútuas e medidas relacionadas

33

Andrew More define ganho de informação como:

$IG(Y|X) = H(Y) - H(Y|X)$

onde é a entropia condicional . No entanto, a Wikipedia chama a quantidade acima de informações mútuas . $H(Y|X)$

A Wikipedia, por outro lado, define ganho de informação como a divergência de Kullback – Leibler (também conhecida como divergência de informação ou entropia relativa) entre duas variáveis aleatórias:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

onde é definido como a entropia cruzada . $H(P,Q)$

Essas duas definições parecem ser inconsistentes uma com a outra.

Também vi outros autores falando sobre dois conceitos adicionais relacionados, a saber, entropia diferencial e ganho relativo de informações.

Qual é a definição ou relação precisa entre essas quantidades? Existe um bom livro de texto que cubra todos eles?

Ganho de informação
Informação mútua
Entropia cruzada
Entropia condicional
Entropia diferencial
Ganho de informações relativas

information-theory

— Amelio Vazquez-Reina
fonte

2

Para aumentar ainda mais a confusão, observe que a notação usada para entropia cruzada também é a mesma notação usada para a entropia conjunta. Eu usei

para a entropia cruzada para evitar me confundir, mas isso é para meu benefício e nunca vi essa notação em outro lugar.

H^{x} (P, Q)

$H^x(P, Q)$

— Michael McGowan

24

Eu acho que chamar a divergência de Kullback-Leibler de "ganho de informação" não é padrão.

A primeira definição é padrão.

EDIT: No entanto, também pode ser chamado de informação mútua. $H(Y)−H(Y|X)$

Note que acho que você não encontrará nenhuma disciplina científica que realmente tenha um esquema de nomeação padronizado, preciso e consistente. Portanto, você sempre terá que olhar para as fórmulas, porque elas geralmente oferecem uma idéia melhor.

Livros didáticos: consulte "Boa introdução a diferentes tipos de entropia" .

Também: Cosma Shalizi: Métodos e Técnicas da Ciência de Sistemas Complexos: Uma Visão Geral, capítulo 1 (pp. 33-114) em Thomas S. Deisboeck e J. Yasha Kresh (eds.), Ciência de Sistemas Complexos em Biomedicina http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Teoria da entropia e da informação http://ee.stanford.edu/~gray/it.html

David MacKay: teoria da informação, inferência e algoritmos de aprendizado http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

Além disso, "O que é" entropia e ganho de informação "?"

— wolf.rauch
fonte

Obrigado @wolf. Estou inclinado a aceitar esta resposta. Se a primeira definição for padrão, como você definiria informações mútuas?

— Amelio Vazquez-Reina

2

Desculpe. a primeira quantidade,

também é freqüentemente chamada de informação mútua. Esse é um caso de nomeação inconsistente. Como eu disse, não acho que exista uma correspondência consistente, inequívoca e individual dos conceitos e nomes. Por exemplo, "informação mútua" ou "ganho de informação" é um caso especial de divergência de KL, de modo que o artigo da Wikipedia não está tão longe.

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

— wolf.rauch

4

$p(X,Y)$ $P(X)P(Y)$

\begin{aligned} Eu (X; Y) & = H (Y) - H (Y ∣ X) \\ = - \sum_{y} p (y) registro p (y) + \sum_{x, y} p (x) p (y ∣ x) registro p (y ∣ x) \\ = \sum_{x, y} p (x, y) registro p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) registro p (y) \\ = \sum_{x, y} p (x, y) registro p (y ∣ x) - \sum_{x, y} p (x, y) registro p (y) \\ = \sum_{x, y} p (x, y) registro \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) registro \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) registro \frac{p (x, y)}{p (y) p (x)} \\ = D_{K eu} (P (X, Y) ∣∣ P (X) P (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

$p(y) = \sum_x p(x,y)$

— chris elgoog
fonte

1

\begin{aligned} Eu (X; Y) = D_{K eu} (p (x, y) | | p (x) p (y)) . \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

— yters
fonte

1

Extrair informações mútuas de conjuntos de dados textuais como um recurso para treinar o modelo de aprendizado de máquina: (a tarefa era prever idade, sexo e personalidade dos blogueiros)

— Krebto
fonte

1

Ambas as definições estão corretas e consistentes. Não sei ao certo o que você acha incerto ao apontar vários pontos que podem precisar de esclarecimentos.

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ são todos nomes diferentes para a mesma coisa. Em contextos diferentes, um desses nomes pode ser preferível, vou chamá-lo aqui em Information .

$D_{KL}$ $K_{LD}$ $K_{LD}$ independente . Chamamos essa quantidade de informação .

$\operatorname{H} (X,Y)$

\begin{aligned} Eu (X; Y) & \equiv H (X) - H (X | Y) \\ \equiv H (Y) - H (Y | X) \\ \equiv H (X) + H (Y) - H (X, Y) \\ \equiv H (X, Y) - H (X | Y) - H (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$

H (X, Y)

$\operatorname{H}(X,Y)$

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$

H (P, Q)

$\operatorname{H}(P,Q)$

Entropia comum e entropia cruzada NÃO são iguais.

$H_q(p)$

Eu espero ver essa notação aceita e as páginas wiki atualizadas.

— אלימלך שרייבר
fonte

pergunto por que as equações não são exibidas corretamente ..

— Shaohua Li 9/10