Perguntas com a marcação «kullback-leibler»

Preciso determinar a divergência KL entre dois gaussianos. Estou comparando meus resultados com esses , mas não consigo reproduzir o resultado deles. Meu resultado está obviamente errado, porque o KL não é 0 para KL (p, p). Gostaria de saber onde estou cometendo um erro e perguntar se alguém pode …

79 normal-distribution  kullback-leibler 

Eu aprendi sobre a intuição por trás da divergência KL quanto o quanto uma função de distribuição de modelo difere da distribuição teórica / verdadeira dos dados. A fonte Estou lendo continua a dizer que a compreensão intuitiva de 'distância' entre estas duas distribuições é útil, mas não deve ser …

47 distributions  distance  intuition  kullback-leibler 

Estou tendo problemas para derivar a fórmula de divergência KL assumindo duas distribuições normais multivariadas. Eu já fiz o caso univariado com bastante facilidade. No entanto, já faz um bom tempo desde que obtive estatísticas de matemática, por isso estou tendo alguns problemas para estendê-la ao caso multivariado. Tenho certeza …

46 normal-distribution  kullback-leibler  proof 

Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de Kullback-Leibler em …

39 kullback-leibler  tsne  cross-entropy 

Percebo que existem muitas diferenças formais entre as medidas de distância Kullback – Leibler vs Kolmogorov-Smirnov. No entanto, ambos são usados ​​para medir a distância entre distribuições. Existe uma situação típica em que um deve ser usado em vez do outro? Qual é a justificativa para fazer isso?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Estou procurando uma explicação intuitiva para as seguintes perguntas: Na estatística e na teoria da informação, qual é a diferença entre a distância de Bhattacharyya e a divergência de KL, como medidas da diferença entre duas distribuições de probabilidade discretas? Eles não têm absolutamente nenhum relacionamento e medem a distância …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Existem medidas de similaridade ou distância entre duas matrizes de covariância simétricas (ambas com as mesmas dimensões)? Estou pensando aqui em análogos à divergência KL de duas distribuições de probabilidade ou à distância euclidiana entre vetores, exceto aplicada a matrizes. Eu imagino que haveria algumas medidas de similaridade. Idealmente, eu …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Olhe para essa foto: Se extrairmos uma amostra da densidade vermelha, espera-se que alguns valores sejam menores que 0,25, ao passo que é impossível gerar essa amostra a partir da distribuição azul. Como conseqüência, a distância Kullback-Leibler da densidade vermelha à densidade azul é infinito. No entanto, as duas curvas …

28 kullback-leibler 

Qual é a diferença prática entre a métrica de Wasserstein e a divergência de Kullback-Leibler ? A métrica de Wasserstein também é chamada de distância do motor da Terra . Da Wikipedia: A métrica de Wasserstein (ou Vaserstein) é uma função de distância definida entre distribuições de probabilidade em um …

25 distributions  kullback-leibler  metric  wasserstein 

Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log …

24 entropy  kullback-leibler  cross-entropy 

Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu entendimento a …

23 inference  entropy  information-theory  kullback-leibler  compression 

Estou estudando árvores de classificação e regressão, e uma das medidas para a localização da divisão é a pontuação GINI. Agora, estou acostumado a determinar a melhor localização de divisão quando o log da razão de probabilidade dos mesmos dados entre duas distribuições é zero, o que significa que a …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) onde a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Vamos considerar as duas distribuições de probabilidade a seguir P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 divergência de Kullback-Leibler igual a . Quero saber em geral o que esse número me mostra? Geralmente, a divergência Kullback-Leibler me …

18 interpretation  information-theory  kullback-leibler 

Por que a divergência KL não é negativa? Da perspectiva da teoria da informação, tenho uma compreensão tão intuitiva: Digamos que existem dois conjuntos AAA e BBB que são compostos do mesmo conjunto de elementos rotulados por xxx . p(x)p(x)p(x) e q(x)q(x)q(x) são distribuições de probabilidade diferentes sobre o conjunto …

18 information-theory  kullback-leibler