Quem cunhou o termo "entropia empírica"?

Conheço o trabalho de Shannon com entropia, mas ultimamente tenho trabalhado em estruturas de dados sucintas nas quais a entropia empírica é frequentemente usada como parte da análise de armazenamento.

Shannon definido a entropia da informação produzida por uma fonte de informação discreta como $-\sum_{i=1}^k p_i \log{p_i}$ , onde é a probabilidade do evento ocorrendo, por exemplo, um caracter específico gerado, e existem possíveis eventos. $p_i$ $i$ $k$

Como apontado por MCH nos comentários, a entropia empírica é a entropia da distribuição empírica desses eventos e, portanto, é dada por $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ onde $n_{i}$ é o número de ocorrências observadas de evento $i$ e $n$ é o número total de eventos observados. Isso é chamado entropia empírica de ordem zero de ordem zero . A noção de Shannon de entropia condicional tem uma versão empírica similar de ordem superior .

Shannon não usou o termo entropia empírica, embora ele certamente mereça parte do crédito por esse conceito. Quem usou essa idéia pela primeira vez e quem primeiro usou o nome (muito lógico) da entropia empírica para descrevê-la?

reference-request shannon-entropy succinct

— usuário excluído 42
fonte

"definido por ponto para cada corda" soa como a complexidade de Kolmogorov: é a isso que você está se referindo? Caso contrário, você pode apontar para um link que o define ou, melhor ainda, fornecer uma definição na própria pergunta?

— Suresh Venkat

É assim chamado porque entropia empírica é a entropia da distribuição empírica de uma sequência.

— Mahdi Cheraghchi

@SureshVenkat Tentei elaborar a pergunta.

— usuário excluído 42

Veja também Kosaraju S. Rao, Manzini G., "Compactação de cadeias de baixa entropia com algoritmos de Lempel-Ziv" (1998). Eles analisam o desempenho dos algoritmos de Lempel-Ziv usando a " chamada entropia empírica ".

— Marzio De Biasi

Observe que a "distribuição empírica" é realmente a distribuição ML para um determinado conjunto de contagens de frequência. Então, eu me pergunto se isso remonta a Bayes. Até Laplace ponderou o problema de definir uma distribuição a partir de contagens empíricas.

— Suresh Venkat

Estou interessado em "entropia empírica" como você e o primeiro artigo que encontrei foi o de Kosaraju, como o usuário "Marzio De Biasi" contou em seu comentário.

Mas, na minha opinião, as definições reais de "entropia empírica" são feitas mais tarde, generalizando os conceitos anteriores:

"Alfabetos Grandes e Incompressibilidade", de Travis Gagie (2008)
"Entropia empregical" de Paul MB Vitányi (2011)

Gagie reformulou a definição de entropia empírica de ordem de para: $k$

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

onde é um processo de Markov de ordem . Ele também mostrou que essa definição é equivalente à anterior. O próximo passo de Vitányi foi uma generalização para classes arbitrárias de processos (não apenas processos de Markov): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

onde é a classe de processos permitidos e é a complexidade de Kolmogorov. Se escolhermos como a classe de ordem Markov processa produzindo uma sequência devariáveis aleatórias e ignorando a complexidade de Kolmogorov, isso também leva à definição de Gagie (multiplicada por ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Danny
fonte