A utilidade das entradas de Renyi?

14

Muitos de nós estamos familiarizados - ou pelo menos já ouvimos falar - da entropia de Shannon de uma variável aleatória, e todos os relacionados. medidas teóricas da informação, como entropia relativa, informações mútuas etc. Existem algumas outras medidas de entropia que são comumente usadas na ciência da computação e na teoria da informação, como a min-entropia de uma variável aleatória. $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$

Comecei a ver essas chamadas entropias de Renyi com mais frequência enquanto navego na literatura. Eles generalizam a entropia de Shannon e a min-entropia e, de fato, fornecem todo um espectro de medidas entrópicas de uma variável aleatória. Trabalho principalmente na área de informação quântica, onde a versão quântica da entropia de Renyi também é considerada com bastante frequência.

O que realmente não entendo é por que eles são úteis. Ouvi dizer que muitas vezes é mais fácil trabalhar analiticamente do que dizer entropia ou min-entropia de Shannon / von Neumann. Mas eles também podem estar relacionados à entropia de Shannon / min-entropia também.

Alguém pode fornecer exemplos (clássicos ou quânticos) de quando usar entropias Renyi é "a coisa certa a fazer"? O que estou procurando é um "gancho mental" ou "modelo" para saber quando eu posso querer usar as entropias de Renyi.

Obrigado!

it.information-theory quantum-information

— Henry Yuen
fonte

Adendo à minha resposta: Parece que existe uma definição probabilística de entropia q-Renyi ( ) i, e . Então e esse RHS é chamado de `` Shannon Entropy ". Um também define o outro limite, ou seja, . Essas idéias parecem ter encontrado usos na construção do expansor, como visto aqui, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias. edu / ~ avi / PUBLICATIONS / MYPAPERS / CRVW01 / crvw01.pdf, arxiv.org/pdf/math/0406038.pdf

q \in Z^{+}

$q \in \mathbb{Z}^+$

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Considere tentar fazer suposições atômicas para uma variável aleatória desconhecida distribuída em algum conjunto finito Na entropia de Shannon, supõe-se que você possa consultar pouco a pouco, ou seja, se você pode perguntar: $X$ $A.$ $A=\{1,\ldots,N\}$

É ? $X\in \{1,\ldots,N/2\}$ (assuma ou use as funções de piso / teto) $N$

Em criptografia e em alguns cenários de decodificação, isso não é realista. Para tentar adivinhar uma senha desconhecida, é necessário fazer consultas atômicas, ou seja, consultar se é um valor específico. $X$

Acontece que o número esperado de consultas para adivinhar uma variável aleatória depende muito da entropia de Renyi da ordemO mesmo acontece com alguns momentos mais altos. Por exemplo $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

e o numerador é essencialmente o logaritmo da entropia de Renyi da ordemPode-se também tornar a entropia de Shannon muito grande, enquanto a entropia de Renyi e a expectativa do número de suposições são muito pequenas. Se você confiasse na entropia de Shannon por segurança, estaria com problemas nesse caso. $1/2.$

Consulte também a pergunta relacionada Adivinhando um baixo valor de entropia em várias tentativas

Algumas referências:

JO Pliam, sobre a incomparabilidade entre entropia e suposição marginal em ataques de força bruta. INDOCRYPT 2000: 67-79
E. Arikan, Uma desigualdade na adivinhação e sua aplicação à decodificação seqüencial. Transações IEEE sobre a Teoria da Informação 42 (1): 99-105, 1996.
S. Boztas, Entries Renyi e suas aplicações para adivinhar ataques em criptografia, IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 97 (12): 2542-2548, 2014.

— kodlu
fonte

Não consigo acessar este documento da S.Boztas. Você tem um link acessível ao público?

— Anirbit

@Anirbit consulte o repositório de pesquisa RMIT, researchbank.rmit.edu.au

— kodlu

Eu pesquisei através desse link. Só me levou em círculos. Eu nunca encontrei um arquivo pdf acessível ao público!

— Anirbit

@ Anirbit, desculpe, eu pensei que era realmente depositado lá!

— kodlu

18

Entropia Renyi é análoga, em certo sentido, a -norms, então primeiro recordação da let por que essas normas são úteis. $\ell_p$

Suponha que temos um vetor de números . Queremos ter um único número que represente, em certo sentido, como é o elemento típico de aparência. $a \in \mathbb{R}^n$ $a$

Uma maneira de fazer isso é calcular a média dos números em , que corresponde aproximadamente à norma : . Isso geralmente é útil, mas para algumas aplicações ele tem os seguintes problemas: Primeiro, a norma não nos fornece um bom limite superior para o maior elemento de , porque se houver um único elemento grande e muitos zeros, o norma será significativamente menor que o maior elemento. Por outro lado, o $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ A norma também não nos dá um bom limite de quão pequenos são os elementos de , por exemplo, quantos zeros possui - esse problema ocorre exatamente no mesmo cenário de antes. $a$ $a$

Obviamente, quando os elementos de apresentam muita variação, como no cenário extremo como acima, nenhum número único pode resolver os dois problemas acima. Temos uma troca. Por exemplo, se nós só queremos saber o maior elemento, podemos usar o norma, mas, em seguida, vamos perder todas as informações sobre os elementos menores. Se quisermos o número de zeros, podemos observar a norma , que é apenas o tamanho do suporte de . $a$ $\ell_\infty$ $\ell_0$ $a$

Agora, o motivo para considerar as normas é que elas nos oferecem toda a troca contínua entre os dois extremos. Se quisermos mais informações sobre os grandes elementos, consideraremos que é maior e vice-versa. $\ell_p$ $p$

O mesmo vale para entropias Rényi: entropia de Shanon é como norma - que nos diz algo sobre a probabilidade "típico" de um elemento, mas nada sobre a variância ou os extremos. A min-entropia nos fornece informações sobre o elemento com maior probabilidade, mas perde todas as informações sobre o restante. O tamanho do suporte dá o outro extremo. As entropias de Renyi nos dão uma troca contínua entre os dois extremos. $\ell_1$

Por exemplo, muitas vezes a entropia Renyi-2 é útil porque, por um lado, fica próxima à entropia de Shanon e, portanto, contém informações sobre todos os elementos da distribuição e, por outro lado, fornece mais informações sobre os elementos com maior probabilidade. Em particular, sabe-se que os limites na entropia Renyi-2 fornecem limites na min-entropia, consulte, por exemplo, o Apêndice A aqui: http://people.seas.harvard.edu/~salil/research/conductors-prelim .ps

— Ou Meir
fonte

11

A entropia de Renyi (da ordem 2) é útil na criptografia para analisar a probabilidade de colisões.

Lembre-se de que a entropia de Renyi da ordem 2 de uma variável aleatória é dada por $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

Acontece que nos permite medir a probabilidade de que dois valores desenhados iid de acordo com a distribuição de sejam os mesmos ("colidem"): essa probabilidade é exatamente . Após desenho vezes a partir desta distribuição, o número esperado de colisões entre estes chama é . $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Esses fatos são úteis na criptografia, onde as colisões às vezes podem ser problemáticas e permitir ataques.

Para algumas análises de outros usos em criptografia, recomendo a seguinte dissertação de doutorado:

Christian Cachin. Medidas de entropia e segurança incondicional em criptografia . Dissertação de doutorado, ETH Zurique, maio de 1997.

— DW
fonte

Existe uma definição probabilística direta de qualquer entropia q-Renyi? (como você pode ver a minha resposta, a única maneira que eu conheço de definir isso em q arbitrária é através de definição de funções partição correspondente a um sistema físico que foi especificado através do seu Lagrangiana ou hamiltoniano ou sua ação)

— Anirbit

@ Anirbit, eu não sei. Nenhum que eu lembro de ver (embora é possível q-Renyi entropia pode levar a limites sobre outros limites que se preocupam ...)

— DW

Também parece que a "entropia da informação" parece ser basicamente a "entropia termodinâmica". Então, mesmo na entropia (q = 1) -Renyi, isto é, entropia de entrelaçamento, existe uma lacuna conceitual sobre a interpretação da complexidade dela?

— Anirbit 06/04

@DW: Boa resposta, eu deixei de incluir este caso: de fato, parece que as entropias de Renyi de várias ordens estão conectadas a diferentes cenários criptográficos, incluindo, por exemplo, a min-entropia (que corresponde ao parâmetro Renyi que se aproxima

) que desempenha um parte na extração aleatória.

- \infty

$-\infty$

— Kodlu # 7/15

@DW Parece haver uma interpretação probabilística. Veja meu comentário sobre a pergunta original.

— Anirbit 9/04

3

Essa outra resposta de stackexchange e esta postagem no blog podem ser muito úteis para você ter uma ideia rápida de um exemplo básico,

Grosso modo, as entropias de Renyi conhecem os estados excitados de um sistema quântico, mas a entropia de entrelaçamento conhece os estados fundamentais. AVISO: Essa intuição pode ser terrivelmente grosseira, mas pode ser apenas um bom "gancho mental": DI ficaria MUITO feliz em saber de uma maneira melhor e precisa de dizer isso!

Pode-se pensar em calcular a entropia de entrelaçamento (que é uma quantidade mais física) como o limite singular de calcular as entropias de Renyi ( para cada ). Mas esse limite é terrivelmente mal definido. Freqüentemente, a idéia é que se possa calcular em um valor inteiro arbitrário e, em seguida, fazer uma continuação analítica disso para e tentar definir a tomada de $S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ limite. (embora sempre , chamo de continuação "analítica" porque, muitas vezes, é preciso fazer a interpolação por contornos no plano complexo - e a continuação pode depender de quais contornos se escolhe através dos polos e cortes de galhos do aquele começou com) $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

Em valores integrais de geralmente existe uma construção sempre muito bem definida em termos de alguma integração de alguma função em algum coletor ramificado. Depois que uma integração é feita, esquecemos alegremente o coletor usado e apenas tentamos fazer a continuação analítica parametricamente na variável . $q>1$ $q-$ $q$

Sempre há muitas questões sobre a existência e a boa postura quando se tenta fazer essas continuações analíticas - mas para alguém como eu, que é criado com uma dieta diária de integrais de caminho de Feynman, é um problema muito comum de se lidar. tem muitas ferramentas para resolvê-las. Três artigos interessantes para analisar essas questões são: http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (o último destes artigos pode ser um ponto de partida mais fácil) Esta apresentação também pode ajudar, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

O que a entropia de Renyi diz em termos da teoria da complexidade quântica pode ser uma pergunta emocionante! Alguém pode pensar no índice Renyi como de alguma forma parametrizando uma hierarquia de classes de complexidade? Isso deve ser divertido se for verdade! Deixe-me saber :)

— Anirbit
fonte

0

A entropia da Renyi chegou às definições de fluxo quantitativo de informações , uma área ou pesquisa de segurança. Veja o documento de pesquisa de G. Smith .

— Kai
fonte