Regressão Bayesian Ridge é outro nome de Regressão Linear Bayesiana?

Eu pesquisei sobre a regressão Bayesian Ridge na Internet, mas a maior parte do resultado que me tornei é sobre a regressão linear bayesiana. Gostaria de saber se são as mesmas coisas, porque a fórmula parece bastante semelhante

regression bayesian

— Thien
fonte

A regressão de Ridge usa regularização com a norma $L_2$ , enquanto a regressão bayesiana é um modelo de regressão definido em termos probabilísticos, com prévios explícitos nos parâmetros. A escolha dos anteriores pode ter o efeito de regularização, por exemplo, o uso dos anteriores de Laplace para coeficientes é equivalente à regularização de $L_1$ . Eles não são os mesmos, porque a regressão de cume é um tipo de modelo de regressão, e a abordagem bayesiana é uma maneira geral de definir e estimar modelos estatísticos que podem ser aplicados a diferentes modelos.

O modelo de regressão de Ridge é definido como

\underset{β}{a r g m i n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{2}^{2}

$\underset{\beta}{\operatorname{arg\,min}}\; \|y - X\beta\|^2_2 + \lambda \|\beta\|^2_2$

No cenário bayesiano, estimamos a distribuição posterior usando o teorema de Bayes

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta)\,p(\theta)$

Regressão de Ridge significa assumir a probabilidade Normal e Normal antes dos parâmetros. Depois de deixar cair a constante de normalização, a função de densidade de log da distribuição normal é

\begin{aligned} \log p (x | μ, σ) & = \log [\frac{1}{σ \sqrt{2 π}} e^{- \frac{1}{2} {(\frac{x - μ}{σ})}^{2}}] \\ = \log [\frac{1}{σ \sqrt{2 π}}] + \log [e^{- \frac{1}{2} {(\frac{x - μ}{σ})}^{2}}] \\ \propto - \frac{1}{2} {(\frac{x - μ}{σ})}^{2} \\ \propto - \frac{1}{σ^{2}} ‖ x - μ ‖_{2}^{2} \end{aligned}

$\begin{align} \log p(x|\mu,\sigma) &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} }\Big] + \log\Big[e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &\propto -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 \\ &\propto -\frac{1}{\sigma^2} \|x - \mu\|^2_2 \end{align}$

Agora você pode ver que maximizar a probabilidade normal de log, com anteriores normais, é equivalente a minimizar a perda ao quadrado, com penalidade de crista

\begin{aligned} \underset{β}{a r g m a x} & \log N (y | X β, σ) + \log N (0, τ) \\ = \underset{β}{a r g m i n} & - {\log N (y | X β, σ) + \log N (0, τ)} \\ = \underset{β}{a r g m i n} & \frac{1}{σ^{2}} ‖ y - X β ‖_{2}^{2} + \frac{1}{τ^{2}} ‖ β ‖_{2}^{2} \end{aligned}

$\begin{align} \underset{\beta}{\operatorname{arg\,max}}& \; \log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau) \\ = \underset{\beta}{\operatorname{arg\,min}}&\; -\Big\{\log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau)\Big\} \\ = \underset{\beta}{\operatorname{arg\,min}}&\; \frac{1}{\sigma^2}\|y - X\beta\|^2_2 + \frac{1}{\tau^2} \|\beta\|^2_2 \end{align}$

Para ler mais sobre regressão e regularização de cume, consulte os tópicos: Por que a estimativa de cume se torna melhor que OLS adicionando uma constante à diagonal? e Que problema os métodos de encolhimento resolvem? , e quando devo usar o laço vs cume? , e Por que a regressão do cume é chamada "cume", por que é necessária e o que acontece quando chega ao infinito? $\lambda$ e muitos outros que temos .

— Tim
fonte

Obrigado pela resposta! Tentei entender quais são as vantagens da norma , a explicação sobre o Scikit é um pouco complicada para mim. Seria bom se você pudesse apontar o problema com os Mínimos Quadrados Ordinários normais

L_{2}

$L_2$

— Thien

@Thien veja a edição para alguns links

— Tim