Dúvidas sobre a divergência de KL?

Estou comparando duas distribuições com a divergência de KL, que me retorna um número não padronizado que, de acordo com o que li sobre essa medida, é a quantidade de informações necessárias para transformar uma hipótese na outra. Eu tenho duas perguntas:

a) Existe uma maneira de quantificar uma divergência KL para que ela tenha uma interpretação mais significativa, por exemplo, como um tamanho de efeito ou um R ^ 2? Alguma forma de padronização?

b) Em R, ao usar o KLdiv (pacote flexmix), é possível definir o valor 'esp' (padrão esp = 1e-4) que define todos os pontos menores que esp para algum padrão, a fim de fornecer estabilidade numérica. Eu tenho jogado com valores esp diferentes e, para o meu conjunto de dados, estou obtendo uma divergência KL cada vez maior quanto menor o número que escolho. O que está acontecendo? Eu esperaria que, quanto menor o esp, mais confiáveis ​​sejam os resultados, pois permitem que mais "valores reais" se tornem parte da estatística. Não? Eu tenho que mudar o esp, pois caso contrário não calcula a estatística, mas simplesmente aparece como NA na tabela de resultados ...

Suponha que você receba n amostras de IDI geradas por p ou por q. Você deseja identificar qual distribuição os gerou. Tome como hipótese nula que eles foram gerados por q. Permita que indique a probabilidade de erro do Tipo I, rejeitando erroneamente a hipótese nula eb indica a probabilidade de erro do Tipo II.

Então, para n grande, a probabilidade de erro do tipo I é pelo menos

$\exp(-n \text{KL}(p,q))$

Em outras palavras, para um procedimento de decisão "ideal", a probabilidade do Tipo I cai no máximo por um fator de exp (KL (p, q)) com cada ponto de dados. O erro do tipo II cai pelo fator de no máximo.$\exp(\text{KL}(q,p))$

Para n arbitrário, aeb estão relacionados da seguinte maneira

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

e

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Se expressarmos o limite acima como o limite inferior em a em termos de be KL e diminuirmos b para 0, o resultado parecerá aproximar-se do "exp (-n KL (q, p))" vinculado mesmo para n pequeno

Mais detalhes na página 10 aqui e nas páginas 74-77 de "Information Theory and Statistics" de Kullback (1978).

Como observação lateral, essa interpretação pode ser usada para motivar a métrica de Informações de Fisher, pois para qualquer par de distribuições p, q na distância de Fisher k uma da outra (k pequena), você precisa do mesmo número de observações para diferenciá-las.

KL tem um significado profundo quando você visualiza um conjunto de dentaduras como um coletor dentro do tensor métrico fisher, fornece a distância geodésica entre duas distribuições "próximas". Formalmente:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

As linhas a seguir estão aqui para explicar com detalhes o que significa essas las fórmulas matemáticas.

Definição da métrica de Fisher.

Considere uma família parametrizada de distribuições de probabilidade (dada pelas densidades em R n ), onde x é uma variável aleatória e teta é um parâmetro em R p . Todos vocês sabem que a matriz de informações de Fisher F = ( F i j ) é$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

Com esta notação, é um coletor riemanniano e F ( θ ) é um tensor métrico riemanniano. (O interesse dessa métrica é dado pelo teorema do limite inferior do cramer Rao)$D$$F(\theta)$

Você pode dizer ... OK abstração matemática, mas onde está o KL?

Não é abstração matemática, se você pode realmente imaginar sua densidade parametrizada como uma curva (em vez de um subconjunto de um espaço de dimensão infinita) e F 11 está conectado à curvatura dessa curva ... (veja o seminal artigo de Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )$p=1$$F_{11}$

$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$ no colector (penso de distância geodésica sobre terra de dois pontos próximos, está relacionada à curvatura da terra) é dada pela forma quadrática:

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

e é conhecido por ser o dobro da divergência Kullback Leibler:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

If you want to learn more about that I suggest reading the paper from Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (I think there is also a book from Amari about riemannian geometry in statistic but I don't remember the name)

The KL(p,q) divergence between distributions p(.) and q(.) has an intuitive information theoretic interpretation which you may find useful.

Suppose we observe data x generated by some probability distribution p(.). A lower bound on the average codelength in bits required to state the data generated by p(.) is given by the entropy of p(.).

Now, since we don't know p(.) we choose another distribution, say, q(.) to encode (or describe, state) the data. The average codelength of data generated by p(.) and encoded using q(.) will necessarily be longer than if the true distribution p(.) was used for the coding. The KL divergence tells us about the inefficiencies of this alternative code. In other words, the KL divergence between p(.) and q(.) is the average number of extra bits required to encode data generated by p(.) using coding distribution q(.). The KL divergence is non-negative and equal to zero iff the actual data generating distribution is used to encode the data.

For part (b) of your question, you might be running into the problem that one of of your distributions has density in a region where the other does not.

This diverges if there exists an $i$ where $p_i>0$ and $q_i=0$. The numerical epsilon in the R implementation "saves you" from this problem; but it means that the resulting value is dependent on this parameter (technically $q_i=0$ is no required, just that $q_i$ is less than the numerical epsilon).