O que significa "variacional"?

O uso de "variacional" sempre se refere à otimização por inferência variacional?

Exemplos:

• "Auto-codificador variacional"
• "Métodos bayesianos variacionais"
• "Grupo de renormalização variacional"

Significa usar inferência variacional (pelo menos nos dois primeiros).

Em resumo, é um método para aproximar a probabilidade máxima quando a densidade de probabilidade é complicada (e, portanto, o MLE é difícil).

Ele usa o Limite Inferior de Evidência (ELBO) como um proxy para o ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Onde é uma distribuição mais simples em variáveis ​​ocultas (indicadas por ) - por exemplo, os auto-codificadores variacionais usam a distribuição normal na saída do codificador.$q$$Z$

O nome 'variacional' vem provavelmente do fato de pesquisar a distribuição que otimiza o ELBO, e essa configuração é como no cálculo de variações , um campo que estuda a otimização de funções (por exemplo, problemas como: dada uma família de curvas em 2D entre dois pontos, encontre um com o menor comprimento).$q$

Há um bom tutorial sobre inferência variacional de David Blei que você pode conferir se quiser uma descrição mais concreta.

EDITAR:

Na verdade, o que descrevi é um tipo de VI: em geral, você pode usar divergências diferentes (o que descrevi corresponde ao uso da divergência ). Para detalhes, consulte este documento , seção 5.2 (VI com divergências alternativas).$KL(q, p)$