Confusão relacionada à distribuição preditiva de processos gaussianos

8

Eu tenho essa confusão relacionada à distribuição preditiva do processo gaussiano. Eu estava lendo este artigo

insira a descrição da imagem aqui

Não entendi como a integração deu esse resultado. O que é P (u * | x *, u). Também como é que a covariância da distribuição posterior é $\sigma^2(\sigma^2I+K)^{-1}K$

regression normal-distribution gaussian-process

— user34790
fonte

+1, tenho praticamente o mesmo problema. Depois de pesquisar na web, achei algo mais confuso. Veja as notas desta palestra de Rasmussen, videolectures.net/site/normal_dl/tag=12546/… . Preste atenção na página 15.

— abacate

4

, ), diretamente da definição de . $P(u*|x*,u) ~ N(u(x*)$ $\sigma^2$ $u*$

Observe que a integração de dois pdf gaussianos é normalizada. Pode demonstrar-se a partir do facto de que

\int_{- \infty}^{\infty} P ({você}^{*} | x^{*}, você) d {você}^{*} = \int_{- \infty}^{\infty} \int_{você} P ({você}^{*} | x^{*}, você) P (você | s) d você d {você}^{*} = \int_{você} P (você | s) \int_{- \infty}^{\infty} P ({você}^{*} | x^{*}, você) d {você}^{*} d você = \int_{você} P (você | s) \int_{- \infty}^{\infty} N ({você}^{*} - você (x *); 0 0, σ^{2}) d {você}^{*} d você = \int_{você} P (você | s) d você \int_{- \infty}^{\infty} N ({você}^{*}; 0 0, σ^{2}) d {você}^{*} = 1

$\int_{-\infty}^{\infty}P(u^*|x^*, u)du^* =\int_{-\infty}^{\infty}\int_{u}P(u^*|x^*, u)P(u|s)dudu^* =\int_{u}P(u|s)\int_{-\infty}^{\infty}P(u^*|x^*, u)du^*du =\int_{u}P(u|s)\int_{-\infty}^{\infty}N(u^*-u(x*); 0, \sigma^2)du^*du =\int_{u}P(u|s)du\int_{-\infty}^{\infty}N(u^*; 0, \sigma^2)du^* =1$

Com a normalização fora do caminho,

é integrado pelos seguintes dicas: $\int_{u}P(u^*|x^*, u)P(u|s)du$

Substitua o 2 pdf normal na equação e elimine os termos independentemente de , como já mostramos a normalização. $u$
Usando o truque de completar o quadrado para integrar exponencial multivariada, ou seja, construa um pdf normal multivariado com os termos exponenciais restantes. Consulte este vídeo do youTube .
$u^*$

— Ruohan Wang
fonte

1

Essa deve ser a resposta aceita, pois realmente responde à pergunta.

— Michael

2

As derivações detalhadas das equações para a distribuição condicional de um processo gaussiano podem ser encontradas no capítulo 2 e no apêndice A do livro [Rasmussen2005].

Veja (Eq. 2.23, 2.24) e acima, as quais são baseadas nas identidades gaussianas (A.6) e na propriedade da matriz (A.11).

[Rasmussen2005] CE Rasmussen e C. Williams. Processos gaussianos para aprendizado de máquina . MIT Press, 2005.

— Emile
fonte

p (u | S)

$p(u|S)$

(5)

$(5)$

p (u | S)

$p(u|S)$

(5)

$(5)$ , Até acho que as anotações da aula de Rasmussen podem estar erradas neste momento. Se faltar alguma coisa ou cometer algum erro, corrija-me. E eu espero que você possa elaborar sobre a derivação.

— abacate

Isso não responde às perguntas.

— Nathan Explosion

K - K (K + σ^{2} I)^{- 1} K

$K - K(K + \sigma^2 I)^{-1}K$

σ^{2} (K + σ^{2} I)^{- 1} K

$\sigma^2 (K + \sigma^2 I)^{-1} K$

σ^{2} I - σ^{2} I (K + σ^{2} I)^{- 1} σ^{2} I

$\sigma^2 I - \sigma^2 I (K + \sigma^2 I)^{-1} \sigma^2 I$ . Portanto, o posterior é o mesmo que a equação do OP (5) e, como o indicado nas anotações da aula de Rasmussen, eles são apenas expressos de maneira diferente.

— duckmayr