Entropia de Shannon para Min-Entropia


7

Em muitos artigos, li que é bem sabido que a entropia de Shannon de uma variável aleatória pode ser convertida em min-entropia (até pequena distância estatística) tirando cópias independentes da variável. Alguém pode me explicar o que exatamente isso significa?

Respostas:


6

Isso é uma conseqüência da propriedade de equipartição assintótica (AEP), que é uma forma da lei de grandes números. O AEP afirma que, se uma variável aleatória tem entropia (binária) H e você tira n cópias dela, a maioria dos pontos de dados tem probabilidade aproximadamente 2nH . Isso é verdade apenas para a maioria dos pontos de dados, que é a fonte da pequena distância estatística mencionada.

Como exemplo, considere uma moeda com polarização p . Se você jogar n moedas com viés p , provavelmente obterá aproximadamente pn heads, cada um dos eventos com probabilidade aproximadamente

ppn(1p)(1p)n=2nh(p).
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.