Entropia Diferencial

A entropia diferencial do VR gaussiano é $\log_2(\sigma \sqrt{2\pi e})$ . Isso depende de $\sigma$ , que é o desvio padrão.

Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a complexidade Kolmogorov da constante de normalização deve ser muito pequena se comparada à redução da entropia. Pode-se simplesmente criar um decodificador de codificador que divida / multiplique com a constante de normalização para recuperar qualquer conjunto de dados gerado por essa variável aleatória.

Provavelmente meu entendimento está errado. Você poderia apontar minha falha?

information-theory entropy randomness

— Cagdas Ozgenc
fonte

Vou tentar, apesar de estar um pouco acima da minha cabeça, então trate com uma pitada de sal ...

Você não está exatamente errado. Eu acho que onde o seu experimento mental cai é que a entropia diferencial não é o caso limitador da entropia. Suponho que, por causa disso, os paralelos entre ele e a complexidade de Kolmogorov sejam perdidos.

Vamos dizer que temos uma variável aleatória discreta . Podemos calcular sua entropia de Shannon da seguinte forma, somando todos os seus possíveis valores , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Até agora tão chato. Agora, digamos que é uma versão quantizada de uma variável aleatória contínua - digamos, temos a função de densidade que gera amostras a partir do conjunto de números reais e transformamos isso em um histograma. Teremos um histograma fino o suficiente para que a função de densidade seja essencialmente linear. Nesse caso, teremos uma entropia assim: $X$ $p()$ ondeé a largura das caixas do histograma e

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$ é o ponto médio de cada um. Temos um produto dentro desse logaritmo - vamos separá-lo e usar a propriedade das distribuições de probabilidade somadas a 1 para movê-lo para fora do somatório, dando-nos

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

$\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

$\log \big( dx \big)$

$\sigma$

Felizmente, não estamos totalmente perdidos. As divergências de Kullback-Leibler e, por extensão, as informações mútuas, são razoavelmente bem comportadas, pois todas as $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Pat
fonte

Obrigado. Isso é muito interessante. Eu não sabia que havia um artifício na teoria.

— Cagdas Ozgenc 18/02

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@Agdas - eu não sei se eu chamaria de um artifício. É apenas medir uma coisa diferente. E, como aponta o cardeal, tem alguns usos. Quanto à quebra, quando aplicada à distribuição binominal, depende de como você a aplicará :). Provavelmente vale a pena começar um novo tópico, se você não tiver certeza.

— Pat

Eu pensei que a entropia é obviamente diferente da complexidade de Kolmogorov quando se considera geradores de números pseudo-aleatórios.

— James Bowery