Me deparei com a perplexidade do termo, que se refere à probabilidade inversa com média de log em dados invisíveis. O artigo da Wikipedia sobre perplexidade não fornece um significado intuitivo para o mesmo.

Essa medida de perplexidade foi usada em papel pLSA .

Alguém pode explicar a necessidade e o significado intuitivo da medida de perplexidade ?

Você consultou o artigo da Wikipedia sobre perplexidade . Dá a perplexidade de uma distribuição discreta como

$$2^{-\sum_x p(x)\log_2 p(x)}$$

que também pode ser escrito como

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

isto é, como uma média geométrica ponderada dos inversos das probabilidades. Para uma distribuição contínua, a soma se tornaria uma integral.

O artigo também fornece uma maneira de estimar a perplexidade de um modelo usando partes de dados de teste$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

que também poderia ser escrito

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

ou de várias outras maneiras, e isso deve tornar ainda mais claro a origem da "probabilidade inversa da média logarítmica".

Achei isso bastante intuitivo:

A perplexidade do que você está avaliando, dos dados em que você está avaliando, meio que diz a você "essa coisa está certa com a mesma frequência que um dado de lado x seria".

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Eu também me perguntei isso. A primeira explicação não é ruim, mas aqui estão meus 2 nats para o que vale a pena.

---

Antes de tudo, perplexidade não tem nada a ver com a caracterização de quantas vezes você adivinha algo certo. Tem mais a ver com a caracterização da complexidade de uma sequência estocástica.

Estamos vendo uma quantidade,

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Vamos primeiro cancelar o log e a exponenciação.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Acho que vale ressaltar que a perplexidade é invariável com a base usada para definir entropia. Portanto, nesse sentido, a perplexidade é infinitamente mais única / menos arbitrária do que a entropia como medida.

Relação com Dados

Vamos brincar um pouco com isso. Digamos que você está apenas olhando uma moeda. Quando a moeda é justa, a entropia é máxima e a perplexidade é máxima de

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

Agora, o que acontece quando olhamos para um dado de lados? A perplexidade é$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Portanto, a perplexidade representa o número de lados de um dado justo que, quando rolado, produz uma sequência com a mesma entropia que sua distribuição de probabilidade fornecida.

Número de Estados

OK, agora que temos uma definição intuitiva de perplexidade, vamos dar uma olhada rápida em como ela é afetada pelo número de estados em um modelo. Vamos começar com uma distribuição de probabilidade nos estados e criar uma nova distribuição de probabilidade nos estados , de modo que a taxa de probabilidade dos estados originais permaneça a mesma e o novo estado tenha probabilidade . No caso de começar com um dado de face justo , podemos imaginar a criação de um novo dado de modo que o novo lado seja rolado com probabilidade e o original$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$lados são rolados com igual probabilidade. Portanto, no caso de uma distribuição de probabilidade original arbitrária, se a probabilidade de cada estado for dada por , a nova distribuição dos estados originais , dado o novo estado, será e a nova perplexidade será dada por:$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

No limite como , essa quantidade se aproxima de$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Assim, à medida que você torna cada vez mais improvável a rolagem de um lado do dado, a perplexidade acaba parecendo como se o lado não existisse.

Na verdade, existe uma conexão clara entre a perplexidade e as chances de adivinhar corretamente um valor de uma distribuição, dada por Elementos da teoria da informação de Cover 2ed (2.146): Se e são variáveis ​​iid, então$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

Para explicar, a perplexidade de uma distribuição uniforme X é apenas | X |, o número de elementos. Se tentarmos adivinhar os valores que iid amostras de uma distribuição uniforme X tomarão simplesmente fazendo suposições iid de X, estaremos corretos 1 / | X | = 1 / perplexidade do tempo. Como a distribuição uniforme é a mais difícil de adivinhar valores, podemos usar 1 / perplexidade como uma aproximação limite / heurística mais baixa para a frequência com que nossas suposições estarão corretas.