Estimando a distribuição posterior da covariância de um gaussiano multivariado

15

Eu preciso "aprender" a distribuição de um gaussiano bivariado com poucas amostras, mas uma boa hipótese sobre a distribuição anterior, então eu gostaria de usar a abordagem bayesiana.

Eu defini o meu anterior:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

E minha distribuição, dada a hipótese

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Agora eu sei, graças a aqui, que para estimar a média dada os dados

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Eu posso calcular:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Agora vem a pergunta, talvez eu esteja errado, mas parece-me que é apenas a matriz de covariância para estimou o parâmetro , e não a covariância estimada dos meus dados. O que eu gostaria seria calcular também $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

para que uma distribuição totalmente especificada seja aprendida com meus dados.

Isso é possível? Está já resolvido pelo cálculo e é apenas expresso de forma errada a fórmula acima (ou estou simplesmente misentrepreting-lo)? Referências seriam apreciadas. Muito obrigado. $\mathbf{\Sigma_n}$

EDITAR

Pelos comentários, parecia que minha abordagem estava "errada", no sentido de que eu estava assumindo uma covariância constante, definida por . O que eu preciso seria colocar um prior também, , mas não sei qual distribuição devo usar e, posteriormente, qual é o procedimento para atualizá-la. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
fonte

Você já especificou a covariância de seus dados como

- e não especificou uma distribuição anterior para atualização a partir disso?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Eu entendo o seu ponto. Portanto, com minha abordagem, basicamente assumi que a variação era constante e especificada. Se eu quiser estimar, preciso de um prévio.

Agora, meu problema é que não está claro como defini-lo e qual seria uma distribuição apropriada para ele, mas isso parece estar fora do escopo da primeira pergunta .

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— Unziberla

Em seguida, mude a pergunta :-)

— Corone 26/02

11

Você pode fazer atualizações bayesianas para a estrutura de covariância do mesmo modo que atualizou a média. O conjugado anterior para a matriz de covariância do normal multivariado é a distribuição Inverse-Wishart, por isso faz sentido começar por aí,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Então, quando você obtiver sua amostra de comprimento poderá calcular a estimativa de covariância da amostra $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Isso pode ser usado para atualizar sua estimativa da matriz de covariância

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Você pode optar por usar a média disso como sua estimativa pontual para a covariância (estimador médio posterior)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

ou você pode optar por usar o modo (Máximo A estimador posterior)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
fonte

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$ is estimated and has its own distribution I am pretty sure this will somehow change my previous formula to compute

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$ (as it happens on gaussian MLE when using the sample variance).

— unziberla

The approach that you describe would be instead to use

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$ so that I have an actual value for the covariance, as if I knew it before. In a frequentist approach, this would sound wrong, but maybe there is something that I am missing from the fact that I assume the prior is known and this makes the procedure correct?

— unziberla

7

Ok, I found the real solution for my problem. I am posting it even if the correct answer to my (misplaced) question is the one selected.

Basically, my question explains how to estimate the mean knowing the covariance, and the answer how to estimate the covariance knowing the mean. But my actual problem was estimating with both parameters unknown.

I found the answer on Wikipedia with the derivation explained here. The multivariate normal's conjugated prior is the Normal-inverse-Wishart, that is basically a distribution over multivariate Normals.

The prior parameters that need to be specified are $\mathbf{\mu}_0$ to define the mean, $\mathbf{\Psi}$ to define the covariance, and two scalar values $\kappa_0$ and $\nu_0$ that I would say define how confident we are on the estimation of the first two parameters respectively.

The updated distribution after observing $n$ samples of a $p$ -variate Normal has the form

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

where

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
fonte