Processo Gaussiano: propriedades de aproximação de função

Estou aprendendo sobre o Processo Gaussiano e ouvi apenas alguns trechos. Realmente apreciaria comentários e respostas.

Para qualquer conjunto de dados, é verdade que uma aproximação de função do Processo Gaussiano daria erro de ajuste zero ou desprezível nos pontos de dados? Em outro lugar, também ouvi dizer que o Processo Gaussiano é particularmente bom para dados barulhentos. Isso parece estar em conflito com o erro de ajuste baixo para quaisquer dados observados?

Além disso, mais longe dos pontos de dados, parece haver mais incerteza (covariância maior). Em caso afirmativo, ele se comporta como modelos locais (RBF etc)?

Finalmente, existe alguma propriedade de aproximação universal?

gaussian-process

— oalah
fonte

Suponha que a amostra de dados seja $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ I)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

$\sigma$ $\sigma = 0$ $\sigma$

$k$ $O(n)$ $n$

— Alexey Zaytsev
fonte