Quais são os parâmetros de um posterior Wishart-Wishart?

Quando inferir a precisão matriz de uma distribuição normal usado para gerar vectores de D-dimensionais geralmente colocamos um Wishart antes de pois a distribuição Wishart é o conjugado anterior para a precissão de uma distribuição normal multivariada com média conhecida e variância desconhecida: onde são os graus de liberdade e o $\boldsymbol{\Lambda}$ $N$ $\mathbf{x_1},..,\mathbf{x_N}$

\begin{aligned} x_{i} & \sim N (μ, Λ^{- 1}) \end{aligned}

$\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}$

Λ

$\boldsymbol{\Lambda}$

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

υ

$\upsilon$

Λ_{0}

$\boldsymbol{\Lambda_0}$ matriz de escala . Para adicionar robustez e flexibilidade ao modelo, colocamos uma hiper-prioridade sobre os parâmetros do Wishart. Por exemplo, Görür e Rasmussen sugerem:

\begin{aligned} Λ_{0} & \sim W (D, \frac{1}{D} Λ_{x}) \\ \frac{1}{υ - D + 1} & \sim G (1, \frac{1}{D}) \end{aligned}

$\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}$ onde

G

$\mathcal{G}$ é a distribuição gama.

Questão:

para provar a parte posterior de $\boldsymbol{\Lambda_0}$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x}) \end{aligned}

$\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \end{align}$

qual é a família e os parâmetros deste posterior?

PS:

Eliminando todos os fatores que não dependem de e identificando os parâmetros com os parâmetros de um Wihsart, recebo um Wishart com os parâmetros: $\boldsymbol{\Lambda_0}$

\begin{aligned} υ^{'} & = υ + D \\ Λ^{'} & = Λ + Λ_{x} \end{aligned}

$\begin{align} \upsilon' &= \upsilon + D\\ \boldsymbol{\Lambda'} &= \boldsymbol{\Lambda} + \boldsymbol{\Lambda_x} \end{align}$

o que parece muito bom, mas não estou confiante, pois não encontro nenhum exemplo nem nos livros nem na internet.

Errata :

Görur e Rasmussen sugerem essas hiperpriorias sobre os parâmetros de Wishart, mas esta equação:

\begin{aligned} Λ & \sim W (υ, Λ_{0}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}$

deve ser:

\begin{aligned} Λ & \sim W (υ, Λ_{0}^{- 1}) \end{aligned}

$\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}^{-1}) \\ \end{align}$

resolvendo, portanto, a falta de conjugação. Se quisermos manter o , devemos usar o Wishart inverso como uma prévia (consulte a resposta de @ Xi'an) $\boldsymbol{\Lambda_0}$

— Alberto
fonte

Respostas:

O produto das duas densidades em leva a

p (Λ_{0} | X, Λ, υ, D, Λ_{x}) \propto W (Λ | υ, Λ_{0}) W (Λ_{0} | D, \frac{1}{D} Λ_{x})

$p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\$

\begin{aligned} p (Λ_{0} | X, Λ, υ, D, Λ_{x}) & \propto | Λ_{0} |^{- υ / 2} \exp {- tr (Λ_{0}^{- 1} Λ) / 2} \\ \times | Λ_{0} |^{(D - p - 1) / 2} \exp {- D tr (Λ_{x}^{- 1} Λ_{0}) / 2} \\ \propto | Λ_{0} |^{(D - υ - p - 1) / 2} \exp {- t r (Λ_{0}^{- 1} Λ + D Λ_{x}^{- 1} Λ_{0}) / 2}, \end{aligned}

$\begin{align*} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) &\propto |\boldsymbol{\Lambda_0}|^{-\upsilon/2}\,\exp\{-\text{tr}(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda})/2\}\\ &\times |\boldsymbol{\Lambda_0}|^{(D-p-1)/2}\,\exp\{-D\,\text{tr}(\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\\ &\propto|\boldsymbol{\Lambda_0}|^{(D-\upsilon-p-1)/2}\,\exp\{-tr(\boldsymbol{\Lambda_0}^{-1}\boldsymbol{\Lambda}+D\,\boldsymbol{\Lambda_x}^{-1}\boldsymbol{\Lambda_0})/2\}\,, \end{align*}$
que não parece ser uma densidade padrão. Para manter o tipo de conjugação, o hierárquico anterior correto em deve ser algo como

Λ_{0}

$\boldsymbol{\Lambda_0}$

Λ_{0} \sim I W (Λ_{0} | D, \frac{1}{D} Λ_{x}) .

$\boldsymbol{\Lambda_0}\sim\mathcal{IW}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x})\,.$

— Xi'an
fonte

Obrigado pela dica @ Xi'an!, Na verdade, o parâmetro na probabilidade deve ser (culpa minha, consulte editar). Acabei de postar uma resposta usando isso e mantendo o Wishart * Wishart.

Λ_{0}^{- 1}

$\mathbf{\Lambda_0^{-1}}$

— Alberto19

Ok, graças à resposta @ Xi'an, eu poderia fazer toda a derivação. Escreverei para um caso geral: onde o é a chave para a conjugação. Se quisermos usar , deve ser:

\begin{aligned} W (W | você, S^{- 1}) \times W (S | {você}_{0 0}, S_{0 0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

S^{- 1}

$\mathbf{S^{-1}}$

S

$\mathbf{S}$

\begin{aligned} W (W | você, S) \times Eu W (S | {você}_{0 0}, S_{0 0}) \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S} ) \times \mathcal{IW}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) \end{align}$

Estou fazendo o primeiro caso (corrija-me se estiver errado):

\begin{aligned} W (W | υ, S^{- 1}) \times W (S | υ_{0}, S_{0}) & \propto | S |^{υ / 2} \exp {- \frac{1}{2} t r (S W)} \\ \times | S |^{\frac{υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r (S_{0}^{- 1} S)} \\ \propto | S |^{\frac{υ + υ_{0} - D - 1}{2}} \exp {- \frac{1}{2} t r ((W + S_{0}^{- 1}) S)} \end{aligned}

$\begin{align} \mathcal{W}(\mathbf{W} | \upsilon, \mathbf{S^{-1}} ) \times \mathcal{W}(\mathbf{S} | \upsilon_0, \mathbf{S_0}) &\propto |\mathbf{S}|^{\upsilon/2} \exp\{-\frac{1}{2} tr(\mathbf{SW}) \}\\ &\times |\mathbf{S}|^{\frac{\upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr (\mathbf{S_0^{-1} S})\}\\ &\propto |\mathbf{S}|^{\frac{\upsilon + \upsilon_0 - D -1 }{2}} \exp\{-\frac{1}{2} tr ( (\mathbf{W} + \mathbf{S_0^{-1}) S})\} \end{align}$

onde usamos o fato de que . Por inspeção, observamos que esta é uma distribuição Wishart: $tr({\mathbf{SW}}) = tr({\mathbf{WS}})$

\begin{aligned} p (S | \cdot) = W (υ + υ_{0}, (W + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(\upsilon+ \upsilon_0, \mathbf{(W+S_0^{-1})^{-1}}) \end{align}$

Extensão para draws $N$ $\mathbf{W_1...W_N}$ :

Para o caso em que temos matrizes de precisão, a probabilidade se torna um produto de verossimilhanças e obtemos: $N$ $N$

\begin{aligned} p (S | \cdot) = W (N υ + υ_{0}, (\sum_{i = 1}^{N} W_{i} + S_{0}^{- 1})^{- 1}) \end{aligned}

$\begin{align} p(\mathbf{S} | \cdot) = \mathcal{W}(N \upsilon+ \upsilon_0, (\sum_{i=1}^N \mathbf{W_i+S_0^{-1})^{-1}}) \end{align}$

— Alberto
fonte