Entropia de distribuição com subdistribuição uniforme

Deixei $X$ ser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade. $\mathcal{X}$ $X$ $A\in\mathcal{X}$ $A$

Podemos relacionar a entropia de com o tamanho do conjunto ? Intuitivamente, parece que deveríamos poder dizer que a entropia de é pelo menos, mas não tenho certeza de como provar isso. $X$ $A$ $X$ $\log |A|$

Por exemplo, quando a distribuição em é uniforme e o limite é mantido trivialmente. $A = \mathcal{X}$ $X$

entropy information-theory

— pg1989
fonte

Simplesmente aplique a fórmula da entropia: o resultado cai imediatamente. A ideia é que apenas contribua com pelo menospara a entropia e quaisquer outros termos na fórmula de entropia só podem aumentá-la ainda mais. Detalhes a seguir. $A$

- | A | (\frac{1}{| A |}) \log (\frac{1}{| A |}) = \log | A |

$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$

Primeiro, vamos esclarecer a linguagem: subconjuntos de geralmente não são considerados "eventos". é uma função de um espaço de probabilidade em . As imagens inversas $\mathcal{X}$ $X$ $(\Omega, \mathfrak{F}, \mathbb{P})$ $\mathcal X$

X^{- 1} (a) = {ω \in Ω ∣ X (ω) = a}

$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$

são assumidos como subconjuntos mensuráveis de e, como tal, são (no sentido convencional) eventos . $\Omega$

Por conveniência, deixe $n=|A|$ seja sua cardinalidade e deixe $p$ ser a probabilidade comum de todos os eventos em questão; isso é,

p = Pr (X^{- 1} (a))

$p = \Pr(X^{-1}(a))$

para qualquer . $a\in A$

Decomponha em e seu complemento, . O axioma da probabilidade total, juntamente com o fato de que a probabilidade de não é negativa, implica $\Omega$ $X^{-1}(A)$ $\bar A = \Omega\setminus X^{-1}(A)$ $\bar A$

\begin{aligned} 1 & = Pr (Ω) = Pr ({\bar{A}}_{X}) + Pr (X^{- 1} (A)) \\ = Pr ({\bar{A}}_{X}) + \sum_{a \in A} Pr (X^{- 1} (a)) \\ = Pr ({\bar{A}}_{X}) + n p \geq n p . \end{aligned}

$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$

Caso seja infinito, isso mostra que deve ser zero e será indefinido. Portanto, devemos assumir que é finito. Nesse caso, o cálculo anterior mostra $n$ $p$ $\log p$ $n$

p \leq \frac{1}{n} .

$p \le \frac{1}{n}.$

No cálculo da entropia de , haverá termos correspondentes a que contribuem com valores não negativos para a entropia. Restam termos de . Cada uma delas contribui com para a entropia (por definição). Porque e é uma função crescente monotonicamente ( isto é , ), o total de tem um limite inferior $X$ $X^{-1}\left(\mathcal{X}\setminus A\right)$ $n$ $A$ $-p\log p$ $p \le 1/n$ $\log$ $\log(p) \le \log(1/n)$ $-np\log p$

- n p \log p \geq - n \frac{1}{n} \log (\frac{1}{n}) = \log n = \log | A |,

$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$

QED .

— whuber
fonte