KL Perda com uma unidade Gaussiana

10

Estou implementando um VAE e notei duas implementações diferentes on-line da divergência simplificada univariada de KL gaussiana. A divergência original conforme aqui é Se assumirmos que nosso prior é uma unidade gaussiana, ou seja, e , isso simplifica para E aqui é onde está minha confusão. Embora eu tenha encontrado alguns repositórios obscuros do github com a implementação acima, o que eu acho mais usado é:

K L_{l o s s} = \log (\frac{σ_{2}}{σ_{1}}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2}

$KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2}$

μ_{2} = 0

$\mu_2=0$

σ_{2} = 1

$\sigma_2=1$

K L_{l o s s} = - \log (σ_{1}) + \frac{σ_{1}^{2} + μ_{1}^{2}}{2} - \frac{1}{2}

$KL_{loss}=-\log(\sigma_1)+\frac{\sigma_1^2+\mu_1^2}{2}-\frac{1}{2}$

K L_{l o s s} = - \frac{1}{2} (2 \log (σ_{1}) - σ_{1}^{2} - μ_{1}^{2} + 1)

$KL_{loss}=-\frac{1}{2}(2\log(\sigma_1)-\sigma_1^2-\mu_1^2+1)$

= - \frac{1}{2} (\log (σ_{1}) - σ_{1} - μ_{1}^{2} + 1)

$=-\frac{1}{2}(\log(\sigma_1)-\sigma_1-\mu^2_1+1)$ Por exemplo, no tutorial oficial do autoencoder do Keras . Minha pergunta é então, o que estou perdendo entre esses dois? A principal diferença é descartar o fator 2 no termo do log e não esquadrar a variação. Analiticamente, usei o último com sucesso, pelo que vale a pena. Agradecemos antecipadamente por qualquer ajuda!

— groovyDragon
fonte

7

Observe que, substituindo por na última equação, você recupera o anterior (por exemplo, ). Me levando a pensar que no primeiro caso o codificador é usado para prever a variação, enquanto no segundo é usado para prever o desvio padrão. $\sigma_1$ $\sigma_1^2$ $\log(\sigma_1) - \sigma_1 \rightarrow 2\log(\sigma_1) - \sigma_1^2$

Ambas as formulações são equivalentes e o objetivo é inalterado.

— F. Evlangeli
fonte

Eu não acho que isso possa ser equivalente. Sim, ambos são minimizados quando para zero e unit . No entanto, na equação original (com a variação), a penalidade por afastar da unidade é muito maior do que na segunda equação (com base no desvio padrão). A penalidade para variações em é a mesma para ambos, e o erro de reconstrução seria o mesmo; portanto, o uso da segunda versão altera drasticamente a importância relativa das partidas de da unidade. o que estou perdendo?

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

μ

$\mu$

σ

$\sigma$

— TheBamf 13/01

0

Eu acredito que a resposta é mais simples. No VAE, as pessoas geralmente usam uma distribuição normal multivariada, que possui matriz de covariância vez de variância . Isso parece confuso em um pedaço de código, mas tem a forma desejada. $\Sigma$ $\sigma^2$

Aqui você pode encontrar a derivação de uma divergência de KL para distribuições normais multivariadas: Derivando a perda de divergência de KL para VAEs

— Dmitry Grebenyuk
fonte