Como o log (p (x, y)) normaliza as informações mútuas pontuais?

Estou tentando entender a forma normalizada de informações mútuas pontuais.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]?

As informações mútuas pontuais são:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) é delimitado por [0, 1], então log (p (x, y)) é delimitado por (, 0). Parece que o log (p (x, y)) deve, de alguma forma, equilibrar as mudanças em o numerador, mas não entendo exatamente como, também me lembra a entropia , mas, novamente, não entendo a relação exata.$h=-log(p(x))$

Da entrada da Wikipedia em informações mútuas pontuais :

Informações mútuas pontuais podem ser normalizadas entre [-1, + 1], resultando em -1 (no limite) para nunca ocorrerem juntos, 0 para independência e +1 para co-ocorrência completa.

Por que isso acontece? Bem, a definição para informações mútuas pontuais é

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

considerando que, para informações mútuas normalizadas em sentido normal, é:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

O quando houver:

• sem co-ocorrências, , então nmpi é -1,$\log p(x,y)\to -\infty$
• co-ocorrências aleatoriamente, , de modo que nmpi é 0,$\log p(x,y)= \log[p(x) p(y)]$
• $\log p(x,y)= \log p(x) = \log p(y)$

$[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$