Ganho de informações, informações mútuas e medidas relacionadas


33

Andrew More define ganho de informação como:

EuG(Y|X)=H(Y)-H(Y|X)

onde é a entropia condicional . No entanto, a Wikipedia chama a quantidade acima de informações mútuas .H(Y|X)

A Wikipedia, por outro lado, define ganho de informação como a divergência de Kullback – Leibler (também conhecida como divergência de informação ou entropia relativa) entre duas variáveis ​​aleatórias:

DKL(P||Q)=H(P,Q)H(P)

onde é definido como a entropia cruzada .H(P,Q)

Essas duas definições parecem ser inconsistentes uma com a outra.

Também vi outros autores falando sobre dois conceitos adicionais relacionados, a saber, entropia diferencial e ganho relativo de informações.

Qual é a definição ou relação precisa entre essas quantidades? Existe um bom livro de texto que cubra todos eles?

  • Ganho de informação
  • Informação mútua
  • Entropia cruzada
  • Entropia condicional
  • Entropia diferencial
  • Ganho de informações relativas

2
Para aumentar ainda mais a confusão, observe que a notação usada para entropia cruzada também é a mesma notação usada para a entropia conjunta. Eu usei para a entropia cruzada para evitar me confundir, mas isso é para meu benefício e nunca vi essa notação em outro lugar. Hx(P,Q)
Michael McGowan

Respostas:


24

Eu acho que chamar a divergência de Kullback-Leibler de "ganho de informação" não é padrão.

A primeira definição é padrão.

EDIT: No entanto, também pode ser chamado de informação mútua.H(Y)-H(Y|X)

Note que acho que você não encontrará nenhuma disciplina científica que realmente tenha um esquema de nomeação padronizado, preciso e consistente. Portanto, você sempre terá que olhar para as fórmulas, porque elas geralmente oferecem uma idéia melhor.

Livros didáticos: consulte "Boa introdução a diferentes tipos de entropia" .

Também: Cosma Shalizi: Métodos e Técnicas da Ciência de Sistemas Complexos: Uma Visão Geral, capítulo 1 (pp. 33-114) em Thomas S. Deisboeck e J. Yasha Kresh (eds.), Ciência de Sistemas Complexos em Biomedicina http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Teoria da entropia e da informação http://ee.stanford.edu/~gray/it.html

David MacKay: teoria da informação, inferência e algoritmos de aprendizado http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

Além disso, "O que é" entropia e ganho de informação "?"


Obrigado @wolf. Estou inclinado a aceitar esta resposta. Se a primeira definição for padrão, como você definiria informações mútuas?
Amelio Vazquez-Reina

2
Desculpe. a primeira quantidade, também é freqüentemente chamada de informação mútua. Esse é um caso de nomeação inconsistente. Como eu disse, não acho que exista uma correspondência consistente, inequívoca e individual dos conceitos e nomes. Por exemplo, "informação mútua" ou "ganho de informação" é um caso especial de divergência de KL, de modo que o artigo da Wikipedia não está tão longe. EuG(Y|X)=H(Y)-H(Y|X)
wolf.rauch

4

p(X,Y)P(X)P(Y)

Eu(X;Y)=H(Y)-H(YX)=-yp(y)registrop(y)+x,yp(x)p(yx)registrop(yx)=x,yp(x,y)registrop(yx)-y(xp(x,y))registrop(y)=x,yp(x,y)registrop(yx)-x,yp(x,y)registrop(y)=x,yp(x,y)registrop(yx)p(y)=x,yp(x,y)registrop(yx)p(x)p(y)p(x)=x,yp(x,y)registrop(x,y)p(y)p(x)=DKeu(P(X,Y)∣∣P(X)P(Y))

p(y)=xp(x,y)


1

Eu(X;Y)=DKeu(p(x,y)||p(x)p(y)).

1

Extrair informações mútuas de conjuntos de dados textuais como um recurso para treinar o modelo de aprendizado de máquina: (a tarefa era prever idade, sexo e personalidade dos blogueiros)

insira a descrição da imagem aqui


1

Ambas as definições estão corretas e consistentes. Não sei ao certo o que você acha incerto ao apontar vários pontos que podem precisar de esclarecimentos.

MEuMvocêtvocêumaeuEunformumatEuon EuGEunformumatEuonGumaEunEuEunformumatEuonsão todos nomes diferentes para a mesma coisa. Em contextos diferentes, um desses nomes pode ser preferível, vou chamá-lo aqui em Information .

DKeuKeuDKeuDindependente . Chamamos essa quantidade de informação .

H(X,Y)

H(X,Y)DKeu(P||Q)=H(P,Q)-H(P)H(P,Q)

Entropia comum e entropia cruzada NÃO são iguais.

Hq(p)

Eu espero ver essa notação aceita e as páginas wiki atualizadas.


pergunto por que as equações não são exibidas corretamente ..
Shaohua Li 9/10
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.