Uma adaptação da distância Kullback-Leibler?

28

Olhe para essa foto: insira a descrição da imagem aqui

Se extrairmos uma amostra da densidade vermelha, espera-se que alguns valores sejam menores que 0,25, ao passo que é impossível gerar essa amostra a partir da distribuição azul. Como conseqüência, a distância Kullback-Leibler da densidade vermelha à densidade azul é infinito. No entanto, as duas curvas não são tão distintas, em algum "sentido natural".

Aqui está minha pergunta: existe uma adaptação da distância Kullback-Leibler que permita uma distância finita entre essas duas curvas?

kullback-leibler

— ocram
fonte

1

Em que "sentido natural" essas curvas "não são tão distintas"? Como essa proximidade intuitiva está relacionada a qualquer propriedade estatística? (Eu posso pensar em várias respostas, mas estou querendo saber o que você tem em mente.)

— whuber

1

Bem ... eles são bem próximos um do outro no sentido de que ambos são definidos em valores positivos; ambos aumentam e depois diminuem; ambos têm realmente a mesma expectativa; e a distância de Kullback Leibler é "pequena" se restringirmos a uma parte do eixo x ... Mas, para vincular essas noções intuitivas a qualquer propriedade estatística, eu precisaria de uma definição rigorosa para esses recursos ...

— ocram

en.wikipedia.org/wiki/Statistical_distance

— Memorando 14/08/2015

18

Você pode ver o Capítulo 3 de Devroye, Gyorfi e Lugosi, Uma teoria probabilística do reconhecimento de padrões , Springer, 1996. Veja, em particular, a seção sobre divergências . $f$

$f$ divergências podem ser vistas como uma generalização de Kullback-Leibler (ou, alternativamente, a KL pode ser vista como um caso especial de uma divergência). $f$

A forma geral é

D_{f} (p, q) = \int q (x) f (\frac{p (x)}{q (x)}) λ (d x),

$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$

onde é uma medida que domina as medidas associadas com e e é uma função que satisfaça convexa . (Se e forem densidades em relação à medida de Lebesgue, basta substituir a notação por e você estará pronto.) $\lambda$ $p$ $q$ $f(\cdot)$ $f(1) = 0$ $p(x)$ $q(x)$ $dx$ $\lambda(dx)$

Recuperamos o KL usando . Podemos obter a diferença de Hellinger via e obtemos a variação total ou a distância assumindo. Este último dá $f(x) = x \log x$ $f(x) = (1 - \sqrt{x})^2$ $L_1$ $f(x) = \frac{1}{2} |x - 1|$

D_{T V} (p, q) = \frac{1}{2} \int | p (x) - q (x) | d x

$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$

Observe que este último, pelo menos, fornece uma resposta finita.

Em outro pequeno livro chamado Density Estimation: The View $L_1$ , Devroye defende fortemente o uso dessa última distância devido às suas muitas propriedades agradáveis de invariância (entre outras). Este último livro é provavelmente um pouco mais difícil de entender do que o anterior e, como o título sugere, um pouco mais especializado.

Adendo : Por meio dessa pergunta , percebi que parece que a medida que @Didier propõe é (até uma constante) conhecida como divergência de Jensen-Shannon. Se você seguir o link para a resposta fornecida nessa pergunta, verá que a raiz quadrada dessa quantidade é na verdade uma métrica e foi anteriormente reconhecida na literatura como um caso especial de divergência . Achei interessante que parecemos ter "reinventado" coletivamente a roda (muito rapidamente) através da discussão desta questão. A interpretação que dei no comentário abaixo, a resposta de @ Didier também foi anteriormente reconhecida. Por toda parte, meio arrumado, na verdade. $f$

— cardeal
fonte

1

Muito agradável! Vou tentar encontrar "Uma teoria probabilística do reconhecimento de padrões" e entender seu capítulo 3!

— Ocram

1

boa resposta, observe que na maioria das vezes é definido de outra maneira, o que faz com que ela fique na metade da distância .

D_{T V}

$D_{TV}$

L_{1}

$L_1$

— 22611 robin girard

1

@robin, obrigado pelo seu comentário. Sim, eu percebo isso. Eu estava apenas tentando evitar uma constante estranha e confusa na exposição. Mas, estritamente falando, você está correto. Eu atualizei de acordo.

— cardeal

3

Seu adendo é a informação mais útil que encontrei no stats.SE, até agora. Meus sinceros agradecimentos por isso. Simplesmente reproduzo aqui a referência que você forneceu: research-repository.st-andrews.ac.uk/bitstream/10023/1591/1/… Endres e Schindelin, Uma nova métrica para distribuições de probabilidade, IEEE Trans. em Info. Teus. vol. 49, n. 3, jul. 2003, pp. 1858-1860.

— Será que

1

@ Didier, bem, foi mais um acidente feliz do que qualquer outra coisa. Ninguém estava respondendo à outra pergunta, então decidi tentar descobrir qual era a divergência Jensen-Shannon em primeiro lugar. Depois de encontrar a definição, parecia razoável conectar as duas perguntas através do meu adendo. Fico feliz que você tenha achado útil. Saudações.

— cardeal

19

A divergência de Kullback-Leibler de em relação a é infinita quando não é absolutamente contínua em relação a , ou seja, quando existe um conjunto mensurável tal que e . Além disso, a divergência de KL não é simétrica, no sentido de que em geral . Lembre-se de que Uma saída para esses dois inconvenientes, ainda baseados na divergência de KL, é introduzir o ponto médio Assim $\kappa(P|Q)$ $P$ $Q$ $P$ $Q$ $A$ $Q(A)=0$ $P(A)\ne0$ $\kappa(P\mid Q)\ne\kappa(Q\mid P)$

κ (P ∣ Q) = \int P \log (\frac{P}{Q}) .

$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$

R = \frac{1}{2} (P + Q) .

$R=\tfrac12(P+Q).$

R

$R$ é uma medida de probabilidade, e e são sempre absolutamente contínua no que diz respeito a . Portanto, pode-se considerar uma "distância" entre e , ainda com base na divergência KL, mas usando , definido como Então é não-negativo e finito para todo e , é simétrico no sentido em que para cada e , e sse .

P

$P$

Q

$Q$

R

$R$

P

$P$

Q

$Q$

R

$R$

η (P, Q) = κ (P ∣ R) + κ (Q ∣ R) .

$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$

η

$\eta$

η (P, Q) = η (Q, P)

$\eta(P,Q)=\eta(Q,P)$

P

$P$

Q

$Q$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

Uma formulação equivalente é

η (P, Q) = 2 \log (2) + \int (P \log (P) + Q \log (Q) - (P + Q) \log (P + Q)) .

$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$

Adendo 1 A introdução do ponto médio de e não é arbitrária no sentido de que onde o mínimo está acima do conjunto de medidas de probabilidade. $P$ $Q$

η (P, Q) = min [κ (P ∣ \cdot) + κ (Q ∣ \cdot)],

$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$

Adendo 2 @ cardinal observa que também é uma divergência , para a função convexa $\eta$ $f$

f (x) = x \log (x) - (1 + x) \log (1 + x) + (1 + x) \log (2) .

$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$

— fez
fonte

2

@Marco, @Didier Piau, pode-se notar que a sugestão de @ Didier é outro caso especial de divergência que .

f

$f$

f (x) = x \log x - (1 + x) \log (\frac{1 + x}{2})

$f(x) = x \log x - (1+x) \log( \frac{1+x}{2} )$

— cardeal

1

@Marco, @Didier Piau, uma formulação alternativa de natureza evocativa é e assim onde . Em outras palavras, é "diferença entre a entropia da medida média e a entropia média das medidas ".

η (P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H (R) - (H (P) + H (Q))

$\eta(P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H(R) - (H(P) + H(Q))$

η (P, Q) = 2 (H (μ (P, Q)) - μ (H (P), H (Q))

$\eta(P,Q) = 2 ( H(\mu(P,Q)) - \mu(H(P), H(Q))$

μ (x, y) = \frac{x + y}{2}

$\mu(x,y) = \frac{x+y}{2}$

\frac{1}{2} η (P, Q)

$\frac{1}{2} \eta(P,Q)$

— cardeal

3

Não é apenas a divergência Jensen-Shannon?

— Memming

Parece ser .

— Será que

"onde o mínimo está acima do conjunto de medidas de probabilidade." Gosto dessa caracterização da divergência Jensen-Shannon. Existe uma prova disso em algum lugar?

— user76284

10

A distância de Kolmogorov entre duas distribuições e é a norma de suas CDFs. (Essa é a maior discrepância vertical entre os dois gráficos das CDFs.) É usada em testes de distribuição em que é uma distribuição hipotética e é a função de distribuição empírica de um conjunto de dados. $P$ $Q$ $P$ $Q$

É difícil caracterizar isso como uma "adaptação" da distância KL, mas atende aos outros requisitos de ser "natural" e finito.

Aliás, porque a divergência KL não é uma verdadeira "distância", não precisamos nos preocupar em preservar todas as propriedades axiomáticas de uma distância. Podemos manter a propriedade não-negatividade ao fazer os valores finitos através da aplicação de qualquer transformação monotônica por algum valor finito . A tangente inversa funcionará bem, por exemplo. $\mathbb{R_+} \to [0,C]$ $C$

— whuber
fonte

1

Obrigado pela sua sugestão sobre a distância Kolmogorov. Você pode deixar seu comentário sobre a transformação monotônica um pouco mais explícito? Thx

— ocram

1

@ Marco Eu não entendo como alguém poderia ser mais explícito. Você quer dizer reafirmar o que escrevi em termos de uma fórmula como ou para com implica para todos ?

\arctan (K L (P, Q))

$\arctan(KL(P,Q))$

f (K L (P, Q))

$f(KL(P,Q))$

f : R_{+} \to [0, C]

$f:\mathbb{R_+} \to [0,C]$

x \geq y

$x \ge y$

f (x) \geq f (y)

$f(x) \ge f(y)$

x, y \geq 0

$x,y \ge 0$

— whuber

1

Sim, foi isso que eu quis dizer :-) Eu não tinha certeza do que aplicar a transformação. Agora, está claro, thx

— ocram

1

@Marco: estou perdido. Você concorda com a distância de Kolmogorov (que é sempre finita, mas não tem nada em comum com a divergência de KL)? Ou para uma transformação monótona limitada da divergência de KL (como )? No exemplo da sua postagem (e em qualquer outro exemplo não absolutamente contínuo ), a última produz o supremo da transformação ( se você se contentar com ). Com efeito, isso abandona qualquer idéia de estimar uma distância entre essas medidas de probabilidade mais precisamente do que dizer que elas estão muito longe (se você a codifica por ou por é irrelevante).

\arctan

$\arctan$

π / 2

$\pi/2$

\arctan

$\arctan$

π / 2

$\pi/2$

+ \infty

$+\infty$

— Fiz

@Didier Sim, a divergência transformada de KL (quando simétrica, como você descreve) pode não satisfazer a desigualdade do triângulo e, portanto, não seria uma distância, mas ainda definiria uma topologia (que provavelmente seria metrizável). Você daria assim pouco ou nada. Continuo agnóstico quanto ao mérito de fazer algo disso: parece-me que essa é apenas uma maneira de ocultar as dificuldades associadas aos valores infinitos da divergência KL em primeiro lugar.

— whuber

2

Sim, Bernardo e Reuda definiram algo chamado "discrepância intrínseca" que, para todos os efeitos, é uma versão "simétrica" da divergência KL. Considerando que a divergência KL de para é A discrepância intrínseca é dada por: $P$ $Q$ $\kappa(P \mid Q)$

δ (P, Q) \equiv min [κ (P ∣ Q), κ (Q ∣ P)]

$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$

A pesquisa de discrepância intrínseca (ou critério de referência bayesiano) fornecerá alguns artigos sobre essa medida.

No seu caso, você pegaria a divergência KL, que é finita.

Outra medida alternativa à KL é a distância de Hellinger

EDIT: esclarecimento, alguns comentários levantados sugerem que a discrepância intrínseca não será finita quando uma densidade 0 quando a outra não. Isso não é verdade se a operação de avaliação da densidade zero for realizada como um limite ou . O limite está bem definido e é igual a para uma das divergências KL, enquanto a outra divergirá. Para ver esta nota: $Q\rightarrow 0$ $P\rightarrow 0$ $0$

δ (P, Q) \equiv min [\int P \log (\frac{P}{Q}), \int Q \log (\frac{Q}{P})]

$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$

Tomando o limite como sobre uma região da integral, a segunda integral diverge e a primeira integral converge para nessa região (assumindo que as condições sejam tais que se possa trocar limites e integração). Isso ocorre porque . Devido à simetria em e o resultado também é válido para . $P\rightarrow 0$ $0$ $\lim_{z\rightarrow 0} z \log(z) =0$ $P$ $Q$ $Q$

— probabilityislogic
fonte

1

Até a "discrepância intrínseca" será infinita quando for zero com probabilidade positiva para e vice-versa, mesmo que e sejam idênticos.

P

$P$

Q

$Q$

P

$P$

Q

$Q$

— whuber

1

Sim ... Receio que a discrepância intrínseca não preencha o requisito. Mas obrigado pela sugestão. Qualquer outra sugestão seria apreciada.

— Ocram

1

Ele faz cumprir a exigência, se você restringir o apoio da densidade azul para estar onde ele tem suporte estritamente positivo, assim como você tem para o vermelho (> 0)

— probabilityislogic

3

@probabilityislogic: Eu não entendo suas últimas observações. Primeiro, vamos dar seus nomes próprios às noções envolvidas e dizer que é absolutamente contínuo em relação a (denominado ) se, para cada mensurável , implica . Agora, não obstante as suas considerações limite tanto misterioso (para mim), seu é finito sse ou . ... / ...

P

$P$

Q

$Q$

P ≪ Q

$P\ll Q$

A

$A$

Q (A) = 0

$Q(A)=0$

P (A) = 0

$P(A)=0$

δ (P, Q)

$\delta(P,Q)$

P ≪ Q

$P\ll Q$

Q ≪ P

$Q\ll P$

— Fez

2

... / ... A maneira de sair do dilema você parece ser cavado poderia ser a de introduzir a medida do ponto médio . Como e , a quantidade é sempre finita. Além disso, se e forem simétricos. Daí , de facto mede uma espécie de "distância" entre e .

P + Q

$P+Q$

P ≪ P + Q

$P\ll P+Q$

Q ≪ P + Q

$Q\ll P+Q$

η (P, Q) := κ (P | P + Q) + κ (Q | P + Q)

$\eta(P,Q):=\kappa(P|P+Q)+\kappa(Q|P+Q)$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

η

$\eta$

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$

— Fiz