Regressão de Ridge - interpretação bayesiana


15

Ouvi dizer que a regressão de cordilheira pode ser derivada como a média de uma distribuição posterior, se o prior for adequadamente escolhido. A intuição de que as restrições definidas nos coeficientes de regressão pelas anteriores (por exemplo, distribuições normais padrão em torno de 0) são idênticas / substitui a penalidade estabelecida no tamanho dos coeficientes ao quadrado? O prior precisa ser gaussiano para que essa equivalência se mantenha?

Respostas:



10

Dois pontos:

A distribuição posterior no caso bayesiano é uma distribuição. A estimativa de regressão de crista é simplesmente um vetorβ^e não uma distribuição. Portanto, eles não são completamente equivalentes.

É verdade que, no caso de uma probabilidade normal multivariada anterior e normal multivariada, a posterior é normal multivariada com uma média que é a estimativa de regressão da crista para um parâmetro da crista adequadamente escolhido.

A prova disso depende da forma particular do prior e da probabilidade e não funciona para anteriores ou funções de probabilidade mais gerais.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.