Divergência de KL entre dois gaussianos multivariados

Estou tendo problemas para derivar a fórmula de divergência KL assumindo duas distribuições normais multivariadas. Eu já fiz o caso univariado com bastante facilidade. No entanto, já faz um bom tempo desde que obtive estatísticas de matemática, por isso estou tendo alguns problemas para estendê-la ao caso multivariado. Tenho certeza de que estou perdendo algo simples.

Aqui está o que eu tenho ...

Suponha que e sejam os pdfs de distribuições normais com médias e e variações e , respectivamente. A distância Kullback-Leibler de até é: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

, que por dois normais multivariadas é: $\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Seguindo a mesma lógica que essa prova , eu passo aqui antes de ficar preso:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Acho que tenho que implementar o truque de rastreamento , mas não tenho certeza do que fazer depois disso. Qualquer sugestão útil para me colocar de volta no caminho certo seria apreciada!

normal-distribution kullback-leibler proof

— dmartin
fonte

stanford.edu/~jduchi/projects/general_notes.pdf . A última seção também fornece a derivação.

— user3540823

Começando por onde você começou com algumas pequenas correções, podemos escrever

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Observe que eu usei algumas propriedades da Seção 8.2 do Matrix Cookbook .

— ramhiser
fonte

Vejo que você tirou o D que eu tinha originalmente. Você não teria um termo D depois de tomar o registro do gaussiano nos primeiros passos?

— dmartin

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

Não tem problema nenhum. Ainda bem que pude ajudar.

— ramhiser

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

@acidghost Qualquer um funciona porque podemos fatorar um negativo de ambos os lados. Multiplicar os dois negativos gera um positivo.

— ramhiser