Probabilidade gaussiana + qual anterior = marginal gaussiana?

Dada a probabilidade gaussiana de uma amostra como com sendo o espaço de parâmetro e , parametrizações arbitrárias do vetor médio e da matriz de covariância.$y$

$$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$$ $\Theta$$\mu(\theta)$$\Sigma(\theta)$

É possível especificar uma densidade anterior e parametrização do vetor médio e a matriz de covariância modo que a probabilidade marginal é uma probabilidade gaussiana?$p(\theta)$$\mu(\theta)$$\Sigma(\theta)$

$$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$$

Eu acho que excluindo a solução trivial que a covariância é conhecida, ou seja, , onde é uma matriz de covariância fixa arbitrária, isso não é possível.$\Sigma(\theta)=\Sigma$$\Sigma$

Para o caso especial e , que é é unidimensional , onde denota a densidade uniforme que eu posso mostrar: $\mu(\sigma^2)=\mu$$\Sigma(\sigma^2)=\sigma^2$$y$$p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$$\mathcal{U}(\sigma^2;a,b)$

$$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$$

A resposta aceita contém uma prova formal ou informal ou sugestões para ela.

Sua conjectura parece verdadeira: apenas uma variação constante pode levar a uma margem normal. Minha prova é limitada ao caso em que a expectativa é conhecida e, portanto, pode ser assumida como zero. Para o caso geral, argumentos mais sofisticados da análise funcional parecem ser necessários.$\boldsymbol{\mu}$

Observe que a questão é realmente sobre a mistura contínua de normais , bem como sobre Bayes. A afirmação provou aqui que uma mistura (contínua) de escala de normais pode ser normal apenas para uma mistura trivial.

Primeiro, considere o caso de um normal unidimensional com média conhecida e parâmetro de precisão . Sem perda de generalidade, podemos assumir que o parâmetro é a precisão . Se a distribuição marginal de for normal, então é uma densidade normal até uma constante multiplicativa. Esta densidade sendo uma função par de deve assumir a forma para alguns e alguma constante . Como isso vale para qualquerω : = 1 / Σ > 0 θ ω y ∫ exp { - y 2 ω / 2 $\mu = 0$$\omega := 1 / \Sigma >0$$\boldsymbol{\theta}$$\omega$$y$y c exp { - y 2 ω 0 / 2 } ω 0 > 0 c > 0 y s : = y 2 ∫ ∞ 0 exp { - s $\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$$y$$c\exp\{ -y^2 \omega_0 / 2\}$$\omega_0 >0$$c >0$$y$obtemos com para todos os , o que mostra que a medida finita com a função de densidade é proporcional à massa de Dirac em porque essas duas medidas têm a mesma transformada de Laplace, até uma constante multiplicativa. Portanto, é quase certamente (as) igual a . $s := y^2$ s ≥ 0 ω ↦ ω 1 / 2 p ( ω ) ω 0 ω ω

$$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$$ $s \geq 0$$\omega \mapsto \omega^{1/2} p(\omega)$$\omega_0$$\omega$$\omega_0$

Essa prova se estende ao normal dimensional com zero médio e matriz de precisão . A margem então grava como que a integral está no conjunto de simétrico definido positivo matrizes. Se essa integral for idêntica a , usando para um escalar Ω : = Σ - 1 ct ∫ exp { - y ⊤$d$$\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$P d x d c de exp { - y ⊤ Ω 0 y / 2 } y : = $\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$$\mathcal{P}$$d \times d$$c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$s ≥ 0 u u ⊤$\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$$s \geq 0$ e um vetor arbitrário$\mathbf{u}$ , achamos acima que deve ser igual a , que mostra que é igual a . A prova funciona mesmo que a medida escrita convenientemente como possuindo densidade concentre em um subconjunto de com Lebesgue, medida zero, porque o argumento de transformação de Laplace ainda se aplica. Portanto, a prova funciona para uma parametrização geral da matriz de precisão (ou variância).u ⊤ ohms 0 u ohms ohms 0 | ohms | 1 / 2 p ( Ω ) $\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$$\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$$\boldsymbol{\Omega}$$\boldsymbol{\Omega}_0$$|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$$\mathcal{P}$

Suponha que e sejam a priori independentes e que tenha uma margem normal com média e variação . Vou provar que a variação deve ser constante e a média deve ter um anterior normal (possivelmente degenerado).Σ y μ 0 Σ 0 Σ $\mu$$\Sigma$$y$$\mu_0$$\Sigma_0$$\Sigma$$\mu$

Vou me ater ao caso unidimensional para simplificar, usando a função característica (cf) de , ou seja, . Sabemos que } e uma fórmula semelhante vale para a distribuição de condicional em e , o que é normal por suposição. Assim, para qualquer verdadeira e reorganizando a integral, devemos ter φ y ( t ) : = E [ e y i t ] φ y ( t ) = exp { μ 0 i t - Σ 0 t 2 / 2 y μ Σ t E [ e y i t ] = ∫ E [ e y eu $y$$\phi_y(t) := \mathbb{E}[e^{yit}]$$\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$$y$$\mu$$\Sigma$$t$ exp { μ 0 i t - Σ 0 t 2 / 2 } = [ ∫ exp { μ i t } p ( μ

$$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$$ $$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$$ As premissas necessárias para esse rearranjo são facilmente verificadas.

A primeira integral do lado direito, digamos , é o cf de . Observe que, como é considerado real, vemos que a distribuição de é simétrica wrt e, portanto, , como poderia ter sido antecipado.μ φ 1 ( t ) e - μ 0 i t μ μ 0 E [ μ ] = μ $\phi_1(t)$$\mu$$\phi_1(t) e^{-\mu_0 it}$$\mu$$\mu_0$$\mathbb{E}[\mu] = \mu_0$

Agora acontece que a segunda integral do lado direito, digamos , também é uma cf. Para ver isso, devemos verificar se , que é contínuo em e também que a função é positiva definida (pd). O primeiro requisito é óbvio, o segundo é provado pela convergência dominada. Agora vá ao requisito pd: se a distribuição anterior escrita como for uma massa de Dirac, será pd porque será o cf de uma distribuição normal. Se o anterior é uma mistura discreta de massas Dirac, isso também é verdade, poisφ 2 ( 0 ) = 1 φ 2 t = 0 φ 2 p ( Σ ) d Σ φ 2 φ 2 φ 2 φ $\phi_2(t)$$\phi_2(0) = 1$$\phi_2$$t=0$$\phi_2$$p(\Sigma)\text{d}\Sigma$$\phi_2$$\phi_2$$\phi_2$então é o cf de uma mistura de normais. Por um argumento de continuidade, vemos que é pd$\phi_2$

Agora vamos usar o poderoso teorema de Lévy-Cramér, que diz que ambas as funções para , devem assumir a forma com real e . Portanto, deve ser normal (possivelmente degenerado) com média . Por álgebra simples, temos que vale para qualquer real . Como qualquer real não negativo escreve como , vemos que a transformada de Laplace do prior de$\phi_j$2 exp { um j i t - b j t 2 / 2 } um j b j ≥ 0 μ um 1 = μ 0 exp { - ( Σ 0 - b 1 ) t 2 / 2 } = ∫ ∞ 0 exp { - Σ t 2 / 2 } $j=1$$2$$\exp\{a_j i t - b_jt^2 /2 \}$$a_j$$b_j \geq 0$$\mu$$a_1 = \mu_0$t

$$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$$ $t$Σ Σ 0 - b $t^2/2$$\Sigma$deve ser igual ao da massa de Dirac em e terminamos.$\Sigma_0 - b_1$

Eu tenho uma proposta de prova para você, mas você precisa verificar.

Suponha que a probabilidade marginal seja gaussiana:

$p(y)=\mathcal{N}(y,m,\Gamma)$

então a densidade anterior pode ser definida por

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

onde controlos e para . ( é ).$f$$\int_{\theta\in\Theta}f(\theta)d\theta =1$$f(\theta)\geq 0$$\theta\in\Theta$$f(\theta)$$p(\theta|y)$

Para ser uma densidade, a integral da densidade anterior em deve ser igual a 1. Em outras palavras,$p(\theta)$$\Theta$

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$ .

Isso leva a

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

Sendo verdadeira esta igualdade se e somente se e .$\mu(\theta)=m$$\Sigma(\theta)=\Gamma$