A relação da distribuição de Laplace anterior com a mediana (ou norma L1) foi encontrada pelo próprio Laplace, que descobriu que, usando essa priorização, você estima a mediana em vez da média como na distribuição normal (ver Stingler, 1986 ou Wikipedia ). Isso significa que a regressão com distribuição de erros de Laplace estima a mediana (como, por exemplo, regressão quantílica), enquanto os erros normais se referem à estimativa de OLS.
Os antecedentes robustos sobre os quais você perguntou foram descritos também por Tibshirani (1996), que notou que a regressão robusta de Lasso na configuração bayesiana é equivalente a usar Laplace anterior. Esse prior para coeficientes é centrado em torno de zero (com variáveis centralizadas) e possui caudas amplas - portanto, a maioria dos coeficientes de regressão estimados usando-o acaba sendo exatamente zero. Isso fica claro se você observar atentamente a figura abaixo: a distribuição de Laplace tem um pico em torno de zero (há uma maior massa de distribuição), enquanto a distribuição Normal é mais difusa em torno de zero, portanto, valores diferentes de zero têm maior massa de probabilidade. Outras possibilidades de prévios robustos são as distribuições Cauchy ou .t
Usando esses priores, você é mais propenso a acabar com muitos coeficientes de valor zero, alguns de tamanho moderado e outros de tamanho grande (cauda longa), enquanto que com o Normal anterior, você obtém coeficientes de tamanho moderado que não são exatamente zero, mas também não tão longe de zero.
(fonte da imagem Tibshirani, 1996)
Stigler, SM (1986). A história da estatística: a medida da incerteza antes de 1900. Cambridge, MA: Belknap Press, da Harvard University Press.
Tibshirani, R. (1996). Retração e seleção de regressão através do laço. Jornal da Sociedade Estatística Real. Série B (Metodológica), 267-288.
Gelman, A., Jakulin, A., Pittau, GM e Su, Y.-S. (2008). Uma distribuição prévia padrão pouco informativa para modelos de regressão logística e outros. The Annals of Applied Statistics, 2 (4), 1360-1383.
Norton, RM (1984). A Distribuição Exponencial Dupla: Usando Cálculo para Encontrar um Estimador de Máxima Verossimilhança. The American Statistician, 38 (2): 135-136.