Como provar essa desigualdade da mistura gaussiana? (Montagem / sobreajuste)

Seja f [x] um pdf de mistura gaussiana com n termos de peso uniforme, meios e variações correspondentes : $\{\mu_{1},...,\mu_{n}\}$ $\{\sigma_{1},...,\sigma_{n}\}$

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i}^{2}}} e^{- \frac{(x - μ_{i})^{2}}{2 σ_{i}^{2}}}

$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$

Parece intuitivo que a probabilidade de log amostrada nos n centros gaussianos seja maior que (ou igual a) a probabilidade de log média:

\frac{1}{n} \sum_{j = 1}^{n} l n (f (μ_{j})) \geq \int f (x) l n (f (x)) d x

$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$

Isto é obviamente verdadeiro para pequenas variações (cada está no topo de um gaussiano estreito) e para variações muito grandes (todas as estão no topo de um amplo gaussiano juntos), e isso é verdade para todos os conjuntos de e eu e , mas não consigo descobrir como provar que isso sempre é verdade. Socorro? $\mu_{i}$ $\mu_{i}$ $\mu_i$ $\sigma_i$

machine-learning gaussian-mixture

— Jerry Guern
fonte

Você provavelmente está perdendo uma expectativa no LHS?

— lacerbi

@lacerbi Não, eu não sou. Nada está faltando. Nas LHS, o é avaliada no indexada 's

f (x)

$f(x)$

x_{i}

$x_i$

— Jerry Guern

Sim, desculpe - eu estava com muito sono e interpretei mal a definição.

— 181116 lacerbi

Respostas:

Este é um comentário mais extenso, portanto, tome-o como tal. Defina: (estou usando a notação padrão para distribuições gaussianas).

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} N (x | x_{i}, σ_{i}^{2})

$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$

Você quer provar que: que é

\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i}) - \int f (x) \log f (x) d x \geq 0

$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq 0.

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$

Devido à desigualdade de Jensen (ver, por exemplo, Huber et al., On Entropy Approximation for Gaussian Mixture Random Vectors, 2008 ), com

H [f] \geq - \frac{1}{n} \sum_{i = 1}^{n} \log \int f (x) N (x | x_{i}, σ_{i}^{2}) d x = - \frac{1}{n} \sum_{i = 1}^{n} \log g_{i} (x_{i})

$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$

, que vem da convolução de duas densidades gaussianas. Então temos:

g_{i} (x) \equiv \frac{1}{n} \sum_{j = 1}^{n} N (x | x_{j}, σ_{i}^{2} + σ_{j}^{2})

$g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$

Curiosamente, o

ainda são misturas de Gaussianas com meios de componentes iguais aos da

, mas cada componente de

tem uma variância estritamente maior do que o seu correspondente componente em

. Você pode fazer alguma coisa com isso?

{\frac{1}{n} \sum_{Eu = 1}^{n} registro f (x_{Eu})} + H [f] \geq \frac{1}{n} \sum_{Eu = 1}^{n} registro \frac{f (x_{Eu})}{g_{Eu} (x_{Eu})} .

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$

g_{i}

$g_i$

f

$f$

g_{i}

$g_i$

f

$f$

— lacerbi
fonte

Obrigado. Parece que eu teria que provar que o RHS final é> = 0, o que também parece intuitivo, mas difícil de provar, mas esse é realmente um passo na direção certa. Eu já vi esse jornal antes.

— precisa

É tentador pensar que o RHS final é sempre positivo, mas também não posso provar isso.

— Jerry Guern

Eu acho que entendi. Leva apenas etapas elementares, embora você precise combiná-las corretamente.

$f_i$ $i$ $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

$g(x) = x log(x)$ $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

\int f (x) registro (f (x)) d x \leq \frac{1}{n} \sum_{Eu = 1}^{n} \int f_{Eu} (x) registro (f_{Eu} (x)) d x

$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$

$i$ $f \geq f_i$

eu o g (f (μ_{Eu})) \geq eu o g (f_{Eu} (μ_{Eu}))

$log(f(\mu_i)) \geq log(f_i(\mu_i))$

\frac{1}{n} \sum_{Eu = 1}^{n} eu o g (f (μ_{Eu})) \geq \frac{1}{n} \sum_{Eu = 1}^{n} eu o g (f_{Eu} (μ_{Eu}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

\frac{1}{n} \sum_{Eu = 1}^{n} eu o g (f_{Eu} (μ_{Eu})) \geq \frac{1}{n} \sum_{Eu = 1}^{n} f_{Eu} (x) registro (f_{Eu} (x))

$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

eu o g (f_{Eu} (μ_{Eu})) = \int f_{Eu} (x) eu o g (f_{Eu} (μ_{Eu})) d x \geq \int f_{Eu} (x) eu o g (f_{Eu} (x)) d x

$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$

i

$i$

n

$n$

— sjm.majewski
fonte

Estou confuso. Você definiu ag (x), mas nunca o usou, e eu não sei o que seu f_i significa.

— Jerry Guern

f_{i}

$f_i$

g

$g$

g (\frac{1}{n} \sum_{i = 1}^{n} f_{i} (x)) \leq \frac{1}{n} \sum_{i = 1}^{n} g (f_{i} (x))

$g(\frac{1}{n}\sum_{i=1}^n f_i(x)) \leq \frac{1}{n}\sum_{i=1}^n g(f_i(x))$

f >= f_{i}

$f>=f_i$

1 / n

$1/n$

f_{i}

$f_i$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

Sim, eu percebi isso ontem. Parece que essa desigualdade é bastante difícil, deixarei minha resposta de qualquer maneira com uma edição.

— Sjm.majewski