Seleção de hiperparâmetros totalmente bayesiana na GPML

É possível realizar uma seleção aproximada de bayesianos (1) de hiperparâmetros (por exemplo, escala de covariância) com o código GPML, em vez de maximizar a probabilidade marginal (2)? Eu acho que o uso de métodos MCMC para resolver as integrais que envolvem hiperparâmetros anteriores deve levar a melhores resultados ao lidar com o ajuste excessivo. Até onde eu sei, a estrutura GPML não inclui esses cálculos, mas talvez existam outros códigos de terceiros.

(1) Sec. 5.2, cap. 5 em Processo Gaussiano de Aprendizado de Máquina, Rasmussen & Williams, 2006

(2) Seção "Regressão" na documentação GPML

— Emile
fonte

Você já ouviu falar do INLA? pode ser o que você está procurando.

— probabilityislogic

Isso não está contribuindo para a sua pergunta, mas você conseguiu encontrar um trabalho útil nessa área de priorização de escalas de comprimento? Absolutamente odeio a idéia de apenas otimizar numericamente as escalas de comprimento de um GP

— sachinruk

(+1) Ótima pergunta. Este não é o MCMC, mas existem pacotes de terceiros que permitem marginalização parcial de hiperparâmetros com GPML via aproximação de Laplace, se você estiver interessado. Veja esta pergunta e respostas relacionadas.

— lacerbi

Há outro pacote para aprendizado de máquina usando processos gaussianos chamado GPstuff, que tem tudo na minha opinião. Você pode usar o MCMC, integração em uma grade etc. para marginalizar seus hiperparâmetros.

NB Na documentação, eles chamam hiperparâmetros apenas parâmetros.

— Mehrdad
fonte