O que é entropia empírica?

Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente em nenhum lugar, de acordo com o índice do livro.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Minha pergunta é basicamente: Por que a entropia empírica não é onde é a distribuição empírica? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Quais são as diferenças e semelhanças mais interessantes entre essas duas fórmulas? (em termos de propriedades que eles compartilham / não compartilham).

information-theory entropy

— blubb
fonte

As duas expressões não são algebricamente iguais?

— whuber

@ whuber: Não, são quantidades diferentes, com propósitos diferentes, acredito. Observe que o primeiro usa a medida verdadeira assumida conhecida a priori. O segundo não.

p

$p$

— cardeal

O primeiro diz respeito ao acúmulo de entropia ao longo do tempo e como ele se compara à verdadeira entropia do sistema. O SLLN e o CLT dizem muito sobre como ele se comporta. O segundo diz respeito à estimativa da entropia a partir dos dados e algumas de suas propriedades também podem ser obtidas através das mesmas duas ferramentas mencionadas. Mas, enquanto o primeiro é imparcial, o segundo não tem . Posso preencher alguns detalhes, se for útil.

p

$p$

— cardeal

@cardinal: Se você fornecer o comentário acima como uma resposta (talvez também explicar o que SLLN e CLT são - eu não sei isso?) Eu ficaria feliz em upvote ...

— blubb

Ok, vou tentar postar mais tarde. Enquanto isso, SLLN = "Lei forte de grandes números" e CLT = "Teorema do limite central". Essas são abreviações bastante comuns que você provavelmente encontrará novamente. Felicidades. :)

— cardeal

Respostas:

Se os dados forem , ou seja, um -sequence a partir de um espaço de amostragem , as probabilidades de ponto empíricos são $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ para. Aquié um see zero em caso contrário. Isto representa a frequência relativa dena sequência observada. Aentropiada distribuição de probabilidade dada pelas probabilidades de ponto empíricos é

\hat{p} (x) = \frac{1}{n} | {Eu ∣ x_{Eu} = x} | = \frac{1}{n} \sum_{Eu = 1}^{n} δ_{x} (x_{Eu})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

O último identidade seguinte modo trocando os dois montantes e notando que

Deste vemos que

H (\hat{p}) = - \sum_{x \in X} \hat{p} (x) registro \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{Eu = 1}^{n} δ_{x} (x_{Eu}) registro \hat{p} (x) = - \frac{1}{n} \sum_{Eu = 1}^{n} registro \hat{p} (x_{Eu}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\sum_{x \in X} δ_{x} (x_{Eu}) registro \hat{p} (x) = registro \hat{p} (x_{Eu}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

com

e usando a terminologia do questão esta é a entropia empírica dadistribuição de probabilidade empírica. Como apontado por @cardinal em um comentário,

H (\hat{p}) = - \frac{1}{n} registro \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

é a entropia empírica de uma dada distribuição de probabilidade com probabilidades pontuais

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

— NRH
fonte

(+1) Isso fornece uma boa ilustração do que Cover e Thomas chamam de "estranho caráter auto-referencial" da entropia. No entanto, não tenho certeza se a resposta realmente aborda (diretamente) as preocupações aparentes do OP. :)

— cardeal

@ cardinal, eu sei, e a resposta foi apenas um longo comentário para fazer esse ponto específico. Eu não queria repetir seus pontos.

— NRH

Você não deve se sentir mal ou hesitar em postar sua própria resposta, incluindo a expansão nos meus comentários ou nos de outras pessoas. Sou particularmente lento e péssimo em postar respostas e nunca vou me ofender se você ou outras pessoas postarem respostas que incorporam aspectos de coisas que eu possa ter comentado brevemente brevemente. Muito pelo contrário, de fato. Felicidades.

— cardeal

A entropia é definida para distribuições de probabilidade. Quando você não possui um, mas apenas dados, e conecta um estimador ingênuo da distribuição de probabilidade, obtém entropia empírica. Isso é mais fácil para distribuições discretas (multinomiais), como mostrado em outra resposta, mas também pode ser feito para outras distribuições por binning, etc.

Um problema com a entropia empírica é que ela é enviesada para amostras pequenas. A estimativa ingênua da distribuição de probabilidade mostra variação extra devido ao ruído de amostragem. Obviamente, pode-se usar um estimador melhor, por exemplo, um prévio adequado para os parâmetros multinomiais, mas não é fácil obtê-lo realmente imparcial.

O acima descrito também se aplica a distribuições condicionais. Além disso, tudo é relativo ao binning (ou kernelization), então você realmente tem um tipo de entropia diferencial.

— Scellus
fonte

Devemos ter cuidado com o que estamos chamando de entropia empírica aqui. Observe que o estimador de plug-in é sempre tendencioso baixo para todos os tamanhos de amostra, embora o viés diminua à medida que o tamanho da amostra aumenta. Não é apenas difícil obter estimadores imparciais para a entropia, mas é impossível no caso geral. Houve pesquisas bastante intensas nessa área nos últimos anos, principalmente na literatura de neurociência. Muitos resultados negativos existem, de fato.

— cardeal