Existe alguma distância de probabilidade que preserve todas as propriedades de uma métrica?

13

Ao estudar a distância Kullback-Leibler, aprendemos muito rapidamente que não respeita nem a desigualdade do triângulo nem a simetria, propriedades necessárias de uma métrica.

Minha pergunta é se existe alguma métrica das funções de densidade de probabilidade que atendam a todas as restrições de uma métrica .

distributions distance metric

— Jorge Leitao
fonte

Focar nas densidades de probabilidade é focar no objeto "errado". Quanto às métricas, existem as "clássicas", por exemplo, Lévy (e a métrica Ky Fan relacionada a variáveis aleatórias), Wasserstein e outras mais próximas de KL, por exemplo, divergência de Jensen-Shannon . Embora quase sempre negligencie historicamente, observe que no artigo original da KL , a divergência da KL era de fato simétrica (embora ainda não seja uma métrica).

— cardeal

1

@ cardinal, bem, eu não estou muito no campo, você pode sugerir o objeto "certo"?

— Jorge Leitao 17/02

2

JC: Desculpe, a caixa de comentários ficou pequena demais para tudo o que eu estava tentando encaixar lá. Eu deveria ter elaborado. A função de distribuição cumulativa acaba sendo um objeto de estudo mais geral e natural. :-)

— cardeal

@ cardinal por quê? ;)

— Jorge Leitão

19

$L^2$

— John Jiang
fonte

2

Esse é um bom artigo - especialmente a figura 1. Estou guardando uma cópia para referência futura.

— Pat

7

Acredito que a Distância do Movimentador da Terra , também conhecida como métrica de Wasserstein , é um exemplo que atende aos seus requisitos.

— Pat
fonte

1

Existem algumas modificações na divergência de KL que o fazem adquirir algumas das propriedades da métrica (embora não todas).

Por exemplo, a divergência de Jeffrey modifica a divergência de KL para torná-la simétrica.

Existem alguns casos especiais, veja [1]: "Infelizmente, medidas tradicionais baseadas na divergência Kullback-Leibler (KL) e na distância Bhattacharyya não satisfazem todos os axiomas métricos necessários para muitos algoritmos. Neste artigo, propomos uma modificação para o KL divergência e a distância de Bhattacharyya, para densidades gaussianas multivariadas, que transforma as duas medidas em métricas de distância ".

[1] K. Abou-Moustafa e F. Ferrie, "Uma nota sobre propriedades métricas para algumas medidas de divergência: o caso gaussiano", JMLR: Procedimentos de oficinas e conferências 25: 1–15, 2012.

— user29652
fonte

0

Eu acho que essa resposta é possível. Porque, recentemente, em 2017, R. Farhadian mostrou que há uma probabilidade em um subconjunto heurístico de números inteiros de que seja uma métrica. para seu trabalho, consulte o seguinte link: http://journals.univ-danubius.ro/index.php/oeconomica/article/view/4010

— MN
fonte