Regressão de Processo Gaussiano vs Splines

14

Eu sei que a regressão gaussiana de processo (GPR) é uma alternativa ao uso de splines para o ajuste de modelos não lineares flexíveis. Eu gostaria de saber em quais situações uma seria mais adequada que a outra, especialmente na estrutura de regressão bayesiana.

Eu já examinei Quais são as vantagens / desvantagens do uso de splines, splines suavizados e emuladores de processos gaussianos? mas parece não haver nada no GPR neste post.

— ved
fonte

Eu diria que o GP é uma abordagem mais orientada a dados para ajustar uma função não linear. Os splines são tipicamente restritos ao n-ésimo polinômio. Os GPs podem modelar funções mais complexas que os polinômios (embora não tenham 100% de certeza).

— Vladislavs Dovgalecs 03/04

14

Eu concordo com a resposta de @j__.

No entanto, gostaria de destacar o fato de que splines são apenas um caso especial de regressão / krigagem do processo gaussiano .

Se você pegar um certo tipo de kernel na regressão de processo gaussiana, obterá exatamente o modelo de ajuste de spline.

Esse fato é comprovado neste artigo por Kimeldorf e Wahba (1970) . É bastante técnico, pois usa o link entre os kernels usados no kriging e na reprodução de espaços de Hilbert de kernel (RKHS).

— Pop
fonte

2

Como exemplo, no caso unidimensional, o modelo GP para o famoso spline de suavização é simplesmente um ruído branco gaussiano duplamente integrado. Isso foi usado por Craig Ansley e Robert Kohn para projetar algoritmos eficientes no final dos anos 80. Acredito que essa equivalência possa ser parcialmente entendida sem se aprofundar nas matemáticas profundas do RKHS.

— Yves

Esta é uma resposta muito boa.

— Astrid

6

É uma pergunta muito interessante: O equivalente entre processos gaussianos e splines de suavização foi mostrado em Kimeldorf e Wahba, 1970. A generalização dessa correspondência no caso de interpolação restrita foi desenvolvida em Bay et al. 2016.

Bay et al. 2016. Generalização da correspondência Kimeldorf-Wahba para interpolação restrita. Revista Eletrônica de Estatística.

Neste artigo, a vantagem da abordagem bayesiana foi discutida.

— maatouk Hassan
fonte

2

Eu concordo com o comentário do @ xeon e também o GPR coloca uma distribuição de probabilidade sobre um número infinito de funções possíveis e a função média (que é semelhante ao spline) é apenas a estimativa do MAP, mas você também tem uma variação sobre isso. Isso permite grandes oportunidades, como projeto experimental (escolha de dados de entrada que sejam maximamente informativos). Além disso, se você deseja executar a integração (quadratura) do modelo, um GP terá um resultado gaussiano, o que lhe permitirá confiar no seu resultado. Pelo menos nos modelos de spline padrão, isso não é possível.

Na prática, o GPR fornece um resultado mais informativo (na minha experiência), mas os modelos spline parecem ser mais rápidos na minha experiência.

— j__
fonte