É possível aplicar divergência KL entre distribuição discreta e contínua?

12

Eu não sou um matemático. Eu pesquisei na Internet sobre KL Divergence. O que aprendi é que a divergência KL mede as informações perdidas quando aproximamos a distribuição de um modelo em relação à distribuição de entrada. Eu já vi isso entre duas distribuições contínuas ou discretas. Podemos fazê-lo entre contínuo e discreto ou vice-versa?

distributions mathematical-statistics kullback-leibler

— prakash
fonte

Veja também: stats.stackexchange.com/q/6907/2970

— cardeal

3

Não: a divergência de KL é definida apenas em distribuições em um espaço comum. Ele pergunta sobre a densidade de probabilidade de um ponto sob duas distribuições diferentes, e . Se é uma distribuição de e uma distribuição em , então não faz sentido para pontos e não faz sentido para pontos $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$ . De fato, não podemos fazer isso para duas distribuições contínuas em espaços de diferentes dimensões (ou discretas, ou em qualquer caso em que os espaços de probabilidade subjacentes não correspondam).

Se você tem um caso particular em mente, pode ser possível criar uma medida similar de dissimilaridade entre distribuições. Por exemplo, pode fazer sentido codificar uma distribuição contínua sob um código para uma distribuição discreta (obviamente com informações perdidas), por exemplo, arredondando para o ponto mais próximo no caso discreto.

— Dougal
fonte

Observe que a divergência de KL entre distribuições discretas e absolutamente contínuas está bem definida.

— Olivier

@ Olivier A definição usual requer uma medida dominante comum, não?

— Dougal 06/06

1

Você está certo quando P e Q são definidos em espaços diferentes. Porém, em um espaço mensurável comum, essa medida sempre existe (por exemplo, P + Q), e a divergência de KL não depende da escolha particular da medida dominante.

— Olivier

8

$P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

$\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

D_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
fonte

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

Teorema da mudança de medida.

— Olivier

1

Não em geral. A divergência KL é

D_{K L} (P | | Q) = \int_{X} \log (\frac{d P}{d Q}) d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
fonte