Boa introdução a diferentes tipos de entropia

18

Estou procurando um livro ou recurso on-line que explique diferentes tipos de entropia, como Entropia de Amostra e Entropia de Shannon e suas vantagens e desvantagens. Alguém pode me apontar na direção certa?

references entropy

— cristão
fonte

9

O livro de Cover e Thomas, Elements of Information Theory, é uma boa fonte sobre entropia e suas aplicações, embora eu não saiba que ele trata exatamente dos problemas que você tem em mente.

— Mark Meckes
fonte

4

Também o artigo "Desigualdades teóricas da informação" de Dembo Cover e Thomas revela muitos aspectos profundos

— robin girard

1

Ainda assim, nenhum desses livros afirma que há mais de uma entropia.

5

Essas notas de aula sobre teoria da informação de O. Johnson contêm uma boa introdução a diferentes tipos de entropia.

— Alekk
fonte

4

Se você estiver interessado na estatística matemática em torno da entropia, consulte este livro

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

está disponível gratuitamente!

— Robin Girard
fonte

2

A entropia é apenas uma (como conceito) - a quantidade de informações necessárias para descrever algum sistema; existem apenas muitas generalizações. A entropia de amostra é apenas um descritor semelhante a entropia usado na análise da frequência cardíaca.

Eu sei, no entanto, isso não me ajuda a decidir se o uso de entropia de amostra ou entropia de Shannon ou algum outro tipo de entropia é apropriado para os dados com os quais estou trabalhando.

— Christian

2

O que escrevi no meu post é apenas que, para um certo tipo de dados / processo / sistema, existe apenas uma definição verdadeira de entropia. Entropia de amostra não é uma medida de entropia, é apenas uma estatística com um nome confuso. Faça uma pergunta onde você define os dados para os quais deseja calcular a entropia e obterá a fórmula.

Não estou interessado na verdade, mas em obter uma função que funcione. Sou bioinformática e aprendi a não procurar a verdade dogmática, mas a procurar estatísticas que funcionem. Eu não acho que exista trabalho feito com o tipo de dados que eu quero trabalhar e que especifique qual entropia funciona melhor. Esse é o ponto por que quero trabalhar com os dados.

— Christian

2

Certo, mas isso não é uma discussão sobre verdades dogmáticas, mas sobre palavras. Você perguntou sobre entropia, então eu respondi sobre entropia. Como agora vejo que você realmente precisa de uma resposta sobre os descritores de séries temporais, escreva uma pergunta sobre os descritores de séries temporais e só então obterá uma resposta útil.

2

Jaynes mostra como derivar a entropia de Shannon de princípios básicos em seu livro .

$n!$ $n^n$

\frac{1}{n} registro \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
fonte

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

O artigo de Grünwald e Dawid: teoria dos jogos, entropia máxima, discrepância mínima e teoria robusta da decisão bayesiana discutem generalizações da noção tradicional de entropia. Dada uma perda, sua função de entropia associada é o mapeamento de uma distribuição para a perda esperada alcançável mínima para essa distribuição. A função de entropia usual é a entropia generalizada associada à perda de log. Outras opções de perdas produzem entropia diferente, como a entropia de Rényi.

— Mark Reid
fonte

1

Então, sigma é a entropia de N (0, sigma) correspondente ao erro quadrado, e min (p, 1-p) é a entropia de Bernoulli (p) correspondente a 0,1 perda de predição? Parece uma generalização!

— Yaroslav Bulatov 6/09/10

Sim. A entropia para perda quadrada é constante e a entropia para perda de 0-1 é mínima (p, 1-p). O que também é interessante é que eles também têm fortes correspondências a divergências. A perda quadrada para a divergência de Hellinger e a perda de 0-1 para a divergência variacional. Como entropias definidas assim, são necessariamente funções côncavas e resulta na divergência f construída usando f (p) = -entropia (p). Bob Williamson e eu exploramos parte disso em nosso artigo: arxiv.org/abs/0901.0356 . É uma coisa divertida.

— Mark Reid

1

Está aqui algo interessante que encontrei sobre divergências recentemente - cada etapa da Crença Propagação pode ser visto como uma projeção Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov