Prove que a distribuição máxima de entropia com uma matriz de covariância fixa é uma gaussiana

Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima.

Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?

$p$$q$$\log(p)$$\mathbf{x}$$0$$2$

---

Você precisa saber apenas duas coisas sobre uma distribuição normal multivariada com média zero:

1. $\log(p)$$\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$$p_{ij}$

   $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   $C$$p_{ij}$$\Sigma$

2. $\Sigma$

   $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Podemos usar essas informações para elaborar uma integral:

$$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Ele divide a soma de duas partes:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$$q$$p$

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$$\int q(\mathbf{x}) x_i x_jd\mathbf{x}$$\int p(\mathbf{x}) x_i x_jd\mathbf{x}$$\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$$\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

$q(x)$$p(x)$ multiplicando termos do formulário $\sigma_{ij}x_ix_j$ (Porque $p(x)$é uma densidade normal, quando você pega o log, obtém exatamente esse tipo de termos do expoente mais constantes). Mas então a condição no teorema garante que esses termos sejam multiplicados por$p(x)$ do $q(x)$ integrar com o mesmo valor.