Interpretação da entropia para distribuição contínua?

"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade.

Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o resultado da variável aleatória.

Mas para uma variável aleatória contínua, há um número incontável de resultados, portanto não podemos sequer começar a transferir qual resultado exato ocorreu em uma sequência finita de bits.

O que é uma interpretação equivalente de entropia para variáveis contínuas?

entropy information-theory

— user56834
fonte

Você tem alguma definição de "grau de informação" em uma distribuição de probabilidade?

— Kjetil b halvorsen

@kjetilbhalverson, não vejo para onde você está indo com isso? A pergunta não é clara?

— User56834 22/05

Eu acho que boas respostas são dadas aqui e aqui .

— COOLSerdash

@COOLSerdash perfect. Você poderia fazer uma resposta ligando para esses dois, e eu vou lhe dar os pontos.

— user56834

@ Programmer2134 Eu realmente aprecio isso, mas não me sinto confortável postando links sem muito contexto (o que é desencorajado aqui) e obtendo pontos por isso. Eu sinto Muito.

— precisa

Respostas:

Devido à limitação da densidade de pontos discretos , a interpretação de não pode ser generalizada para

S = - \sum_{x} p (x) \ln p (x)

$S = -\sum_x p(x)\ln p(x)$

S = - \int d x (p (x) \ln p (x))

$S= -\int dx (p(x)\ln p(x))$

Como a generalização direta leva a Claramente, explode.

S = - \int d x p (x) \ln (p (x) d x) = - \int d x p (x) \ln (p (x)) - \int d x p (x) \ln (d x)

$S= -\int dx p(x)\ln (p(x)dx) = -\int dx p(x)\ln (p(x)) -\int dx p(x)\ln (dx)$

\ln d x

$\ln dx$

Intuitivamente, desde , o raciocínio de usar menos bits para codificar algo com maior probabilidade de acontecer não se mantém . Portanto, precisamos encontrar outra maneira de interpretar , e a escolha é a divergência de . $p(x)dx = 0$ $S= -\int dx p(x)\ln (p(x)dx)$ $KL$

Digamos que temos uma distribuição uniforme no mesmo espaço de estado, então temos Como é apenas uma constante, mantemos efetivamente a forma de e ao mesmo tempo, construa uma quantidade bem definida para a distribuição contínua . $q(x)$

K L (p (x) ‖ q (x)) = \int d x p (x) \ln (\frac{p (x) d x}{q (x) d x})

$KL(p(x)\Vert q(x)) = \int dx p(x) \ln (\frac{p(x)dx}{q(x)dx})$

q (x)

$q(x)$

S = - \int d x (p (x) \ln (p (x) d x))

$S= -\int dx (p(x)\ln (p(x)dx))$

p (x)

$p(x)$

Portanto, a partir da divergência , a entropia de uma distribuição contínua pode ser interpretada como: $KL$ $p(x)$

Se usarmos uma distribuição uniforme para codificar , quantos bits serão desnecessários em média. $p(x)$

— meTchaikovsky
fonte

Sua última frase trata do tópico da pergunta, mas na verdade não a responde: qual é a interpretação dessa “propriedade intrínseca”, se não for o número de bits?

— user56834

A entropia é a expectativa de . É uma questão de educação matemática que as pessoas geralmente preferem escrever a definição como você, escrever primeiro e depois pegar o sinal de menos fora da integral, mas sua resposta precisa dessa correção. .

\ln (1 / P)

$\ln (1/P)$

- \ln P

$-\ln P$

— Nick Cox

@ Nick Cox Obrigado por apontar isso, eu editei isso.

— precisa saber é o seguinte

@ Programmer2134 Eu editei minha resposta, espero que ela resolva a questão melhor.

— precisa saber é o seguinte

@ Programmer2134 Graças à sua pergunta, descobri que não entendi totalmente a interpretação de . Corrigi minha resposta.

- \int p (x) \ln p (x)

$-\int p(x) \ln p(x)$

— precisa saber é o seguinte

Você discretiza o problema através de uma densidade de probabilidade. Uma variável aleatória contínua tem uma densidade , que se aproxima localmente do provável , que agora é um análogo do caso discreto . E pela teoria do cálculo, suas somas tornam-se equivalentes ao seu espaço de estados. $f(x)$ $P(X\in [x,x+\delta x]) \approx f(x)\delta x$

— Alex R.
fonte

Posso estar perdendo alguma coisa, mas minha pergunta era sobre uma interpretação. Eu sei que uma integral é um limite de somas.

— User56834

Esta é uma resposta muito otimista! Acredito itis muito mais complicado

— b Kjetil Halvorsen

@kjetilbhalvorsen: Sim, há muitos detalhes aqui embaixo da mesa. Para o benefício do OP, consulte a seção 2.3.1: crmarsh.com/static/pdf/Charles_Marsh_Continuous_Entropy.pdf

— Alex R.

Você poderia elaborar esta resposta? Parece sugerir que você pode aproximar a entropia contínua discretizando a distribuição com pequenos compartimentos. Mas o teu link mostra isso não funcionar, e até mesmo diz que "a fórmula para entropia contínua não é uma derivação de qualquer coisa"

— Jonny Lomond