Qual é a lógica da função de covariância de Matérn?

A função de covariância de Matérn é comumente usada como função de kernel no Processo Gaussiano. É definido assim

$${\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}}$$

onde é uma função de distância (como a distância euclidiana), é a função gama, é a função de Bessel modificada do segundo tipo, ρ e ν são parâmetros positivos. muito tempo para ser ou na prática.Γ K $d$$\Gamma$$K_\nu$$\rho$$\nu$$\nu$$\frac{3}{2}$$\frac{5}{2}$

Muito tempo, esse kernel funciona melhor que o kernel gaussiano padrão, pois é 'menos suave', mas, exceto isso, existe alguma outra razão pela qual alguém prefere esse kernel? Alguma intuição geométrica sobre como ela se comporta ou alguma explicação da fórmula aparentemente enigmática seria muito apreciada.

Além da resposta agradável da @DahnJahn, pensei em tentar falar um pouco mais sobre a origem das funções Bessel e gama. Um ponto de partida para chegar à função de covariância é o teorema de Bochner.

Teorema (Bochner) Um contínuo estacionário função é definida positiva, se e somente se ~ k é a transformada de Fourier de uma medida positiva finito: $k(x, y) = \widetilde{k}(|x − y|)$$\widetilde{k}$

$$\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$$

A partir disso, você pode deduzir que a matriz de covariância de Matérn é derivada como transformada de Fourier de (Origem) . Tudo bem, mas não nos diz realmente como você chega a essa medida positiva finita dada por . Bem, é a densidade espectral (de potência) de um processo estocástico .$\frac{1}{(1+\omega^2)^p}$ f(x$\frac{1}{(1+\omega^2)^p}$$f(x)$

Qual processo estocástico? Sabe-se que um processo aleatório em com uma função de covariância de Matérn é uma solução para a equação diferencial parcial estocástica (SPDE) onde é ruído branco gaussiano com variação unitária, é o operador Laplace, e (acho que isso está em Cressie e Wikle ).$\mathbb{R}^d$W ( s ) Δ = d ∑ i = 1 ∂

$$(κ^2 − ∆)^{α/2} X(s) = φW(s),$$ $W(s)$ α=ν+d/ $$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$$ $α =ν + d/2$

Por que escolher esse processo SPDE / estocástico específico? A origem está nas estatísticas espaciais, onde se argumenta que é a covariância mais simples e natural que funciona bem em :$\mathbb{R}^2$

A função de correlação exponencial é uma correlação natural em uma dimensão, pois corresponde a um processo de Markov. Em duas dimensões, isso não é mais verdade, embora o exponencial seja uma função de correlação comum no trabalho geoestatístico. Whittle (1954) determinou a correlação correspondente a uma equação diferencial estocástica do tipo Laplace:

$$\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$$ que é ruído branco. O processo de rede discreta correspondente é uma regressão automática de segunda ordem. (Fonte)$\epsilon$

A família de processos incluídos na SDE associada à equação de Matern inclui o modelo Ornstein-Uhlenbeck da velocidade de uma partícula em movimento browniano. De maneira mais geral, é possível definir um espectro de potência para uma família de processos para cada número inteiro que também tenha uma covariância da família Matérn. Isso está no apêndice de Rasmussen e Williams.A R ( p ) $AR(1)$$AR(p)$$p$

Essa função de covariância não está relacionada ao processo de cluster Matérn.

Referências

Cressie, Noel e Christopher K. Wikle. Estatísticas para dados espaço-temporais. John Wiley & Sons, 2015.

Guttorp, Peter e Tilmann Gneiting. "Estudos na história da probabilidade e estatística XLIX Na família de correlação materna." Biometrika 93.4 (2006): 989-995.

Rasmussen, CE e Williams, CKI Gaussian Processes for Machine Learning. a MIT Press, 2006.

Eu não sei, mas achei essa pergunta muito interessante e aqui está o que consegui depois de ler um pouco.

Para certos valores de , a função de covariância de Matérn pode ser expressa como um produto de um exponencial e de um polinômio. Por exemplo, para : Não é de surpreender que, como , realmente converja para o RBF gaussiano : Para , a função de covariância de Matérn fornece o kernel exponencial absoluto vmax = 5 / 2 C 5 / 2 ( d ) = σ 2 ( 1 + $\nu$$\nu = 5/2$ν→∞Cνlimν→∞Cν(d)=σ2exp(-d

$$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$$ $\nu \to \infty$$C_\nu$ν=1/ $$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$$ $\nu = 1/2$ $$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$$

Além disso, um processo gaussiano com a função de covariância de Matérn com o parâmetro é tempo diferenciável .⌈ ν ⌉ - 1$\nu$$\lceil \nu \rceil -1$

Isso é bem demonstrado em uma foto tirada de Rasmussen & Williams (2006)

Em Interpolação de dados espaciais , Stein (que realmente propôs o nome da função de covariância de Matérn) argumenta (pág. 30) que a diferenciabilidade infinita da função de covariância gaussiana produz resultados irreais para processos físicos, uma vez que observar apenas uma pequena fração contínua de o espaço / tempo deve, em teoria, produzir toda a função. Assim, ele propôs a versão de Matérn como uma generalização capaz de combinar processos físicos de maneira mais realista.

Sumário

A função de covariância de Matérn pode ser vista como uma generalização da função de base radial gaussiana . Ele contém até o kernel exponencial absoluto, que fornece resultados radicalmente diferentes, e é mais capaz de capturar processos físicos devido à sua diferenciabilidade finita (por finito ).$\nu$

Quanto ao mistério da aparência da função de Bessel, eu adoraria ver mais intuição por trás disso, mas acho que é precisamente seu comportamento (assintótico) in que a tornou útil nesse contexto e levou Stein a defina a função de covariância de Matérn. É claro que isso não descarta a possibilidade de haver um belo argumento sobre por que tudo isso é verdade.$\nu$