Qual é o valor máximo da divergência Kullback-Leibler (KL)

Vou usar a divergência KL no meu código python e recebi este tutorial .

Nesse tutorial, implementar a divergência de KL é bastante simples.

kl = (model * np.log(model/actual)).sum()

Pelo que entendi, a distribuição de probabilidade de modele actualdeve ser <= 1.

Minha pergunta é: qual é o limite máximo / valor máximo possível de k ?. Eu preciso saber o valor máximo possível de kl distance quanto ao limite máximo no meu código.

Ou mesmo com o mesmo suporte, quando uma distribuição tem uma cauda muito mais gorda que a outra. Tome quando depois e Existem outras distâncias que permanecem limitadas, comop ( x ) = densidade de Cauchy ⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ KG(P||Q)=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• a distância , equivalente à distância total da variação,$L¹$
• as distâncias de Wasserstein
• a distância Hellinger

Para distribuições que não têm o mesmo suporte, a divergência de KL não é limitada. Veja a definição:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

se P e Q não têm o mesmo suporte, existe algum ponto que e , fazendo com que KL vá para o infinito. Isso também é aplicável a distribuições discretas, que é o seu caso. p ( x ′ ) ≠ 0 q ( x ′ ) = $x'$$p(x') \neq 0$$q(x') = 0$

Edit: Talvez uma melhor escolha para medir a divergência entre distribuições de probabilidade seja a distância de Wasserstein, que é uma métrica e tem melhores propriedades do que a divergência KL. Tornou-se bastante popular devido a suas aplicações em aprendizado profundo (consulte redes WGAN)

Para adicionar as excelentes respostas de Carlos e Xi'an , também é interessante notar que uma condição suficiente para que a divergência de KL seja finita é que ambas as variáveis ​​aleatórias tenham o mesmo suporte compacto e que a densidade de referência seja limitada . Esse resultado também estabelece um limite implícito para o máximo da divergência de KL (consulte o teorema e a prova abaixo).

---

Teorema: Se as densidades e q têm o mesmo suporte compacto X e a densidade p é delimitada nesse suporte (ou seja, possui um limite superior finito), então K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Prova: Como possui suporte compacto X, isso significa que há algum valor positivo positivo:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

Da mesma forma, como possui suporte compacto X, isso significa que há algum valor supremo positivo:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

Além disso, como essas duas densidades estão no mesmo suporte e o último é limitado, temos . Isso significa que:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Agora, deixando ser o último limite superior, que têm claramente assim naquela:0⩽ L _ <$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

Isso estabelece o limite superior necessário, o que prova o teorema. $\blacksquare$