Como a entropia depende da localização e escala?

A entropia de uma distribuição contínua com função de densidade $f$ é definida como negativa da expectativa de $\log(f),$ e , portanto, é igual a

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Também dizemos que qualquer variável aleatória $X$ cuja distribuição tem densidade $f$ tem entropia $H_f.$ (Essa integral é bem definida mesmo quando $f$ possui zeros, porque $\log(f(x))f(x)$ pode ser considerado igual a zero nesses valores.)

Quando $X$ e $Y$ são variáveis ​​aleatórias para as quais $Y = X+\mu$ ( $\mu$ é uma constante), diz-se que $Y$ é uma versão do $X$ deslocada por $\mu.$ Da mesma forma, quando $Y = X\sigma$ ( $\sigma$ é uma constante positiva), $Y$ é considerado uma versão do $X$ dimensionada por $\sigma.$Combinar uma escala com um deslocamento dá $Y=X\sigma + \mu.$

Essas relações ocorrem com freqüência. Por exemplo, alterar as unidades de medida de $X$ muda e escala.

Como a entropia de $Y = X\sigma + \mu$ relacionada à de $X?$

Como o elemento de probabilidade de $X$ é $f(x)\mathrm{d}x,$ a mudança da variável $y = x\sigma + \mu$ é equivalente a $x = (y-\mu)/\sigma,$ onde

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

segue-se que a densidade de $Y$ é

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Consequentemente, a entropia de $Y$ é

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

que, ao alterar a variável de volta para $x = (y-\mu)/\sigma,$ produz

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

These calculations used basic properties of the logarithm, the linearity of integration, and that fact that $f(x)\mathrm{d}x$ integrates to unity (the Law of Total Probability).

The conclusion is

The entropy of $Y = X\sigma + \mu$ is the entropy of $X$ plus $\log(\sigma).$

In words, shifting a random variable does not change its entropy (we may think of the entropy as depending on the values of the probability density, but not on where those values occur), while scaling a variable (which, for $\sigma \ge 1$ "stretches" or "smears" it out) increases its entropy by $\log(\sigma).$ This supports the intuition that high-entropy distributions are "more spread out" than low-entropy distributions.

---

As a consequence of this result, we are free to choose convenient values of $\mu$ and $\sigma$ when computing the entropy of any distribution. For example, the entropy of a Normal$(\mu,\sigma)$ distribution can be found by setting $\mu=0$ and $\sigma=1.$ The logarithm of the density in this case is

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

whence

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

Consequently the entropy of a Normal$(\mu,\sigma)$ distribution is obtained simply by adding $\log\sigma$ to this result, giving

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

as reported by Wikipedia.