Existe algum uso para a quantidade em estatística ou teoria da informação?

\int f (x)^{2} d x

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
fonte

Renyi entropia

— cardeal

f

$f$ é um pdf, certo?

— whuber

Sim, é uma densidade.

f

$f$

— charles.y.zheng

@ cardinal Answer!

@mbq: Ok, vou tentar digitar algo um pouco mais tarde que seja digno de resposta. :)

— cardeal

Permitindo denotar uma função de densidade de probabilidade (com relação à Lebesgue ou medida de contagem, respectivamente), a quantidade é conhecida como entropia Renyi da ordem . É uma generalização da entropia de Shannon que retém muitas das mesmas propriedades. Para o caso , interpretamos como , e isso corresponde à entropia padrão de Shannon . $f$ $\newcommand{\rd}{\mathrm{d}}$

H_{α} (f) = - \frac{1}{α - 1} registro (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi introduziu isso em seu artigo

A. Renyi, Sobre medidas de informação e entropia , Proc. 4º Berkeley Symp. em Math., Stat. e Prob. (1960), pp. 547–561.

vale a pena ler, não apenas pelas idéias, mas pelo estilo de exposição exemplar.

O caso é uma das opções mais comuns para e esse caso especial é (também) frequentemente chamado de entropia Renyi. Aqui vemos que para uma variável aleatória distribuída com densidade . $\alpha = 2$ $\alpha$

H_{2} (f) = - registro (\int f^{2} d μ) = - registro (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Observe que é uma função convexa e, portanto, pela desigualdade de Jensen, temos onde o lado direito denota a entropia de Shannon. Portanto, a entropia de Renyi fornece um limite inferior para a entropia de Shannon e, em muitos casos, é mais fácil de calcular. $- \log(x)$

H_{2} (f) = - registro (E f (X)) \leq E (- registro f (X)) = - E registro f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

Outro exemplo natural em que a entropia de Renyi surge é quando se considera uma variável aleatória discreta e uma cópia independente . Em alguns cenários, queremos saber a probabilidade de que , que por um cálculo elementar seja $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{Eu = 1}^{\infty} P (X = x_{Eu}, X^{⋆} = x_{Eu}) = \sum_{Eu = 1}^{\infty} P (X = x_{Eu}) P (X^{⋆} = x_{Eu}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Aqui denota a densidade em relação à medida de contagem no conjunto de valores . $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

A entropia (geral) de Renyi também está aparentemente relacionada à energia livre de um sistema em equilíbrio térmico, embora eu não esteja pessoalmente interessado nisso. Um artigo (muito) recente sobre o assunto é

JC Baez, entropia de Renyi e energia livre , arXiv [quant-ph] 1101.2098 (fevereiro de 2011).

— cardeal
fonte

Na verdade, eu estava usando a entropia de Renyi como substituta da entropia de Shannon; é bom ver a confirmação da minha intuição. Obrigado pela resposta esclarecedora.

— charles.y.zheng

Muitas (mas não todas!) Das propriedades e utilidades da entropia de Shannon surgem de sua convexidade. Se você observar o acúmulo dos resultados básicos na teoria da informação, eles dependem mais ou menos da desigualdade de Jensen. Portanto, em um certo sentido (vago), não há muito que seja (terrivelmente) especial sobre como a não linearidade específica que leva a uma noção de "informação".

- \log x

$-\log x$

— cardinal

Entendo. Especificamente, eu preciso a propriedade que a entropia máxima distribuição conjunta, que satisfaz dadas marginais é o produto das marginais (o que você obteria de independência.)

— charles.y.zheng