Por que a pena de Lasso é equivalente à dupla exponencial (Laplace) anterior?

Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão $B$ é equivalente ao modo posterior de $B$ no qual a distribuição anterior para cada $B_i$ é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace).

Eu tenho tentado provar isso, alguém pode detalhar os detalhes?

Por uma questão de simplicidade, vamos considerar apenas uma observação de uma variável $Y$ tal que

$\mu \sim \mbox{Laplace}(\lambda)$ e o anterior inadequado $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

Então a densidade da junta de $Y, \mu, \sigma^2$ é proporcional a

$\mu$

Portanto, o máximo de (1) será uma estimativa do MAP e, de fato, é o problema de Lasso depois que reparametrizamos . $\tilde \lambda = \lambda \sigma^2$

A extensão da regressão é clara - substitua por na probabilidade Normal e defina o anterior como uma sequência de distribuições independentes de laplace .$\mu$$X\beta$$\beta$$(\lambda)$

Isso é óbvio pela inspeção da quantidade que o LASSO está otimizando.

o anterior para ser Laplace independente com média zero e alguma escala .$\beta_i$$\tau$

Então .$p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

O modelo para os dados é a suposição de regressão usual .$y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Agora menos o dobro do log do posterior é da forma

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Let e temos posterior de$\lambda=\sigma^2/\tau$$-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

O estimador MAP para minimiza o acima, o que minimiza$\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Portanto, o estimador MAP para é LASSO.$\beta$

(Aqui eu tratei como efetivamente corrigido, mas você pode fazer outras coisas com ele e ainda obter o LASSO saindo.)$\sigma^2$

Edit: Isso é o que recebo para escrever uma resposta off-line; Não vi uma boa resposta já ter sido postada por Andrew. O meu realmente não faz nada que o dele já não faz. Deixarei o meu por enquanto, pois ele fornece mais alguns detalhes do desenvolvimento em termos de .$\beta$