Modelagem bayesiana usando normal multivariada com covariável

Suponha que você tenha uma variável explicativa que representa uma determinada coordenada. Você também tem uma variável de resposta . Agora, podemos combinar as duas variáveis como: ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

Nesse caso, simplesmente escolhemos $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ e $T$ é uma matriz de covariância que descreve o relação entre $X$ e $Y$ . Isso descreve apenas o valor de $X$ e $Y$ em $s$ . Como temos mais pontos de outros locais para $X$ e $Y$ , podemos descrever mais valores de ${\bf{W}}(s)$ da seguinte maneira:

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Você notará que reorganizamos os componentes de $\bf{X}$ e $\bf{Y}$ para obter todos os $X(s_i)$ em uma coluna e, depois disso, concatenar todos os $Y(s_i)$ juntos. Cada componente $H(\phi)_{ij}$ é uma função de correlação $\rho(s_i, s_j)$ e $T$ é como acima. A razão temos a covariância $T\otimes H(\phi)$ é porque nós assumimos que é possível separar a matriz de covariância como $C(s, s')=\rho(s, s') T$ .

Pergunta 1: Quando eu calculo o condicional ${\bf{Y}}\mid{\bf{X}}$ , o que realmente estou fazendo é gerar um conjunto de valores de $\bf{Y}$ base em $\bf{X}$ correto? Eu já tenho $\bf{Y}$ então estaria mais interessado em prever um novo ponto $y(s_{0})$ . Nesse caso, eu deveria ter uma matriz $H^{*}(\phi)$ definida como

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

em que $\boldsymbol{h}(\phi)$ é um vetor $\rho(s_{0} - s_{j};\phi)$ . Portanto, podemos construir um vetor (sem rearranjo):

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

E agora apenas reorganizo para obter uma distribuição conjunta e obtenha o condicional . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

Isso está correto?

Pergunta 2: Para prever, o artigo que estou lendo indica que devo usar essa distribuição condicional e obter uma posterior distribuição , mas não tenho certeza de como obter a distribuição posterior para os parâmetros. Talvez eu possa usar a distribuição que eu acho é exatamente o mesmo que e, em seguida, basta usar o teorema de Bayes para obter $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

Pergunta 3: No final do subcapítulo, o autor diz o seguinte:

Para previsão, não temos . Isso não cria novos problemas, pois pode ser tratado como uma variável latente e incorporada ao Isso resulta apenas em um empate adicional dentro de cada iteração Gibbs e é uma adição trivial à tarefa computacional. ${\bf{X}}(s_0)$ $\bf{x}'$

O que esse parágrafo significa?

A propósito, esse procedimento pode ser encontrado neste documento (página 8), mas como você pode ver, preciso de um pouco mais de detalhes.

Obrigado!

— Robert Smith
fonte

Votou para migrar por solicitação de OP .

Eu diria correto para ambas as respostas às perguntas 1 e 2. A pergunta 3 significa que o não observado é tratado como um parâmetro adicional, além de , usando o condicional completo como anteriormente em .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— Xian

Pergunta 1: Dado seu modelo de probabilidade conjunta a distribuição condicional de fornecido também é Normal, com média e matriz de variância-covariância

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (Essas fórmulas são copiadas literalmente da página da Wikipedia em normais multivariadas .) O mesmo se aplica a desde é outro vetor Normal.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

Pergunta 2: O preditivo é definido como ou seja, integrando os parâmetros usando a distribuição posterior desses posteriores, dados os dados atuais . Portanto, há um pouco mais na resposta completa. Obviamente, se você precisar simular apenas a partir do preditivo, sua noção de simular em conjunto a partir de e então de é válido. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

Pergunta 3: No caso em que não é observado, o par pode ser previsto a partir de outra previsão $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

Ao simular a partir dessa previsão, por não estar disponível de forma gerenciável, é possível executar um amostrador Gibbs que simula iterativamente

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

ou mescle as etapas 4 e 5 em uma única etapa

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— Xi'an
fonte