Como você compara dois processos gaussianos?

A divergência de Kullback-Leibler é uma métrica para comparar duas funções de densidade de probabilidade, mas que métrica é usada para comparar dois $X$ e GP $Y$ ?

gaussian-process metric

— pushkar
fonte

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@ Zen: Se você tiver tempo, estou interessado em saber mais sobre essa métrica de distância.

— Neil G

Olá Neil. Eu não sei muito sobre isso. Por favor, veja minha resposta abaixo.

— Zen

Respostas:

Observe que a distribuição dos processos gaussianos é a extensão do gaussiano multivariado para possivelmente possivelmente infinito . Portanto, você pode usar a divergência de KL entre as distribuições de probabilidade GP integrando over : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Você pode usar métodos de MC para aproximar numericamente essa quantidade em um intervalo discreto. $\mathcal{X}$ amostrando repetidamente os processos de acordo com sua distribuição de GP. Não sei se a velocidade de convergência é suficientemente boa ...

Observe que se é finito com , você volta à divergência KL usual para distribuições normais multivariadas: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
fonte

Como posso calcular duas médias (mu1 e mu2) que você mencionou. Ou devo levá-los iguais a zero, como de costume no processo gaussiano?

— Marat Zakirov

Recordar que se é um processo normal de média função e função de covariância , então, para cada , o vector aleatório tem uma distribuição normal multivariada com vetor médio $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ e matriz de covariância , onde usamos a abreviação comum $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Cada realização é uma função real cujo domínio é o índice set . Suponha que . Dados dois Processos Gaussianos e , uma distância comum entre duas realizações $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ e $X(\,\cdot\,,\omega)$ é. Portanto, parece natural definir a distância entre os dois processos e como $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Não sei se existe uma expressão analítica para essa distância, mas acredito que você pode calcular uma aproximação de Monte Carlo da seguinte maneira. Corrija uma grade fina e colete amostras e dos vetores aleatórios normais

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

, respectivamente, para

aproximado

por

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— zen
fonte

Como você amostra de cada vetor? Se você apenas provar as médias em cada um dos GPs, não levará em consideração as variações. Caso contrário, você precisará criar uma técnica de amostragem consistente.

— pushkar 29/05

Este é um recurso excelente: gaussianprocess.org/gpml/chapters

— Zen

Você também pode ler todas as respostas a esta pergunta: stats.stackexchange.com/questions/30652/...

— Zen

Preste atenção que isso não é uma distância desde

. Como o KL compara duas distribuições e não duas realizações, a distância de Zen entre dois GPs deve ser definida como

, e nós temos esse

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

para não degenerou processo Gaussian

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

— Emile

@Emile: como é que

usando a definição

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$

— Zen