Entropia de Shannon para Min-Entropia

Em muitos artigos, li que é bem sabido que a entropia de Shannon de uma variável aleatória pode ser convertida em min-entropia (até pequena distância estatística) tirando cópias independentes da variável. Alguém pode me explicar o que exatamente isso significa?

Isso é uma conseqüência da propriedade de equipartição assintótica (AEP), que é uma forma da lei de grandes números. O AEP afirma que, se uma variável aleatória tem entropia (binária) $H$ e você tira $n$ cópias dela, a maioria dos pontos de dados tem probabilidade aproximadamente $2^{-nH}$ . Isso é verdade apenas para a maioria dos pontos de dados, que é a fonte da pequena distância estatística mencionada.

Como exemplo, considere uma moeda com polarização $p$ . Se você jogar $n$ moedas com viés $p$ , provavelmente obterá aproximadamente $pn$ heads, cada um dos eventos com probabilidade aproximadamente