Posterior normal multivariada


18

Essa é uma pergunta muito simples, mas não consigo encontrar a derivação em nenhum lugar da internet ou de um livro. Gostaria de ver a derivação de como um bayesiano atualiza uma distribuição normal multivariada. Por exemplo: imagine que

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Depois de observar um conjunto de x1...xn , gostaria de calcular P(μ|x1...xn) . Eu sei que a resposta é P(μ|x1...xn)=N(μn,Σn) em que

μn=Σ0(Σ0+1nΣ)−1(1n∑i=1nxi)+1nΣ(Σ0+1nΣ)−1μ0Σn=Σ0(Σ0+1nΣ)−11nΣ

Estou procurando a derivação desse resultado com toda a álgebra matricial intermediária.

Qualquer ajuda é muito apreciada.


2
Também é resolvido em nosso livro Bayesian Core , cap. 3, Seção 3.2, páginas 54-57, com o que pensamos ser álgebra matricial detalhada!
— Xian

1
O OP disse que não era um problema de lição de casa e até explicou por que ele perguntou e como ele deseja usar a resposta. Por que não publicá-lo para outras pessoas? Entendo por que não queremos fornecer um serviço de resolução de problemas de lição de casa, mas isso está levando um pouco longe demais.
— Michael R. Chernick

3
@ Alex: Desculpe, link errado, eu quis dizer Bayesian Core . Observe que também publicamos soluções para todos os problemas no arXiv . Portanto, publicar uma solução completa aqui não faria mal!
— Xian

1
Excluí a parte dos comentários que equivale a uma troca privada entre indivíduos com um acordo para compartilhar uma resposta particular à pergunta. Esse tipo de coisa está abusando deste site, que trata de perguntas e respostas públicas .
— whuber

1
Assim como um FYI, a derivação está na Classificação de Padrões por Duda, Hart e Stork. No entanto, estava tendo dificuldade em seguir alguns dos passos deles, o que só importa para mim. Se isso fosse simplesmente um dever de casa, alguém poderia escrever exatamente o que eles têm.
— 1955 Alex

Respostas:


6

Com as distribuições em nossos vetores aleatórios:

xi|μ∼N(μ,Σ)

μ∼N(μ0,Σ0)

Pela regra de Bayes, a distribuição posterior se parece com:

p(μ|{xi})∝p(μ)∏i=1Np(xi|μ)

Então:

ln⁡p(μ|{xi})=−12∑i=1N(xi−μ)′Σ−1(xi−μ)−12(μ−μ0)′Σ0−1(μ−μ0)+const

=−12Nμ′Σ−1μ+∑i=1Nμ′Σ−1xi−12μ′Σ0−1μ+μ′Σ0−1μ0+const

=−12μ′(NΣ−1+Σ0−1)μ+μ′(Σ0−1μ0+Σ−1∑i=1Nxi)+const

=−12(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))′(NΣ−1+Σ0−1)(μ−(NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi))+const

Qual é a densidade de log de um gaussiano:

μ|{xi}∼N((NΣ−1+Σ0−1)−1(Σ0−1μ0+Σ−1∑i=1Nxi),(NΣ−1+Σ0−1)−1)

Usando a identidade Woodbury em nossa expressão para a matriz de covariância:

(NΣ−1+Σ0−1)−1=Σ(1NΣ+Σ0)−11NΣ0

O que fornece a matriz de covariância na forma que o OP queria. Usando esta expressão (e sua simetria) ainda mais na expressão para a média, temos:

Σ(1NΣ+Σ0)−11NΣ0Σ0−1μ0+1NΣ0(1NΣ+Σ0)−1ΣΣ−1∑i=1Nxi

=Σ(1NΣ+Σ0)−11Nμ0+Σ0(1NΣ+Σ0)−1∑i=1N(1Nxi)

Qual é a forma exigida pelo OP para a média.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.