A regressão de kernel é semelhante à regressão de processo gaussiana?

10

Eu usei a regressão do Nadaraya-Watson Kernel antes para suavizar os dados. Recentemente, encontrei regressão de processo gaussiana.

Prima facie, eles não parecem estar relacionados. Mas estou me perguntando se talvez haja uma conexão mais profunda da qual eu não esteja ciente. A regressão do kernel Nadaraya-Watson é um caso especial de GPR?

— Demetri Pananos
fonte

6

Sim, existe uma conexão, dependendo da função de covariância do GP e do kernel do mais suave. É discutido no capítulo 2 (seção 2.6) de Processos Gaussianos para Machine Learning . Observe que mesmo uma função de covariância simples, como a exponencial ao quadrado, resulta em núcleos equivalentes complexos devido às propriedades espectrais da função.

Outras coisas a serem observadas são:

no cenário multivariado, o N-WKR se resume à regressão univariada em cada dimensão (veja esta resposta), enquanto os GPs podem modelar a covariância multivariada completa.
não há equivalente à função média do GP
o kernel no N-WKR não precisa ser uma função de covariância de GP válida e pode não haver uma função de covariância equivalente para cada kernel
não existe um equivalente óbvio para, por exemplo, funções periódicas de covariância como um kernel mais suave
nos GPs, você é livre para combinar funções de covariância (por exemplo, através de multiplicação ou adição), consulte, por exemplo, o livro de receitas do kernel

— tdc
fonte

1) Você tem uma citação para a regressão GP com resposta multivariada? 2) Eu teria interpretado o N-WKR como o equivalente à média da regressão GP. O que falta ao N-WKR seria a variação nessa interpretação, não a média. 4) Por que você não pode simplesmente usar uma função periódica como um kernel para o N-WKR? N-WKR é uma convolução do kernel e dos dados - apenas envolve os dados com uma função periódica. 5) Ainda não tenho certeza de que compreendo os núcleos aditivos no GP.

— precisa saber é o seguinte

-1

Existe uma conexão em que o Gaussian Process Modeling é uma técnica do kernel, o que significa que os GPMs usam uma função do kernel para descrever uma covariância gaussiana multivariada entre os pontos de dados observados e a regressão é usada para encontrar os parâmetros do kernel (hiperparâmetros) que melhor descrevem os dados observados . A Modelagem de Processo Gaussiana pode extrapolar a partir dos dados observados para produzir uma função média interpoladora (com incerteza associada ditada pela função do kernel) para qualquer ponto do espaço.

Abaixo estão alguns recursos no GPM que descrevem em detalhes quais tipos de funções do kernel normalmente são empregados, bem como as abordagens usadas para estimar os hiperparâmetros do kernel:

http://www.gaussianprocess.org/gpml/

http://www.eurandom.tue.nl/events/workshops/2010/YESIV/Prog-Abstr_files/Ghahramani-lecture2.pdf

— T3am5hark
fonte