Se o LASSO é equivalente à regressão linear com um Laplace anterior, como pode haver massa em conjuntos com componentes em zero?

Todos nós estamos familiarizados com a noção, bem documentada na literatura, de que a otimização do LASSO (por uma questão de simplicidade limita a atenção aqui ao caso da regressão linear)

eu o s s =__y - X β {__}_{2}^{2} + λ__β {__}_{1}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$ é equivalente ao modelo linear com erros gaussianos no qual a os parâmetros recebem o Laplace anterior

\exp (- λ__β {__}_{1})

$\exp(-\lambda \| \beta \|_1 )$ Também sabemos que quanto mais alto o parâmetro de ajuste,

λ

$\lambda$ , maior a parte dos parâmetros é definida como zero. Dito isto, tenho a seguinte pergunta de pensamento:

Considere que, do ponto de vista bayesiano, podemos calcular a probabilidade posterior de que, digamos, as estimativas de parâmetros diferentes de zero estejam em qualquer coleção de intervalos e os parâmetros definidos como zero pelo LASSO sejam iguais a zero. O que me confundiu é que, como o prior de Laplace é contínuo (na verdade, absolutamente contínuo), então como pode haver massa em qualquer conjunto que é produto de intervalos e singletons em $\{0\}$ ?

lasso laplace-distribution

— Grant Izmirlian
fonte

O que faz você pensar que o posterior também não é um pdf contínuo? O fato de o máximo do posterior ocorrer em um ponto que possui muitos 0 componentes não significa por si só que o posterior não é um pdf contínuo.

— precisa

O posterior é um PDF contínuo. Visto como estimativa de probabilidade máxima restrita, se imaginarmos desenhos repetidos da mesma distribuição de dados quando o modelo verdadeiro tiver zeros com múltiplos coeficientes de regressão e a constante de ajuste for grande o suficiente, o CMLE sempre terá os mesmos componentes definidos como zero e os não- zero parâmetros se espalharão em intervalos de confiança correspondentes. Da perspectiva bayesiana, isso equivale a ter uma probabilidade positiva para esses conjuntos. Minha pergunta é como isso pode acontecer para uma distribuição contínua.

— Grant Izmirlian

A solução CLME coincide com a estimativa do MAP. Não há realmente mais nada a ser dito.

— Sycorax diz Restabelecer Monica

A solução CMLE não é uma amostra da parte posterior.

— Brian Borchers

Não há contradição porque o posterior não coloca massa em conjuntos de menor dimensão.

— Xian

Como todos os comentários acima, a interpretação bayesiana do LASSO não leva o valor esperado da distribuição posterior, que é o que você gostaria de fazer se fosse um purista. Se esse fosse o caso, você estaria certo de que há uma chance muito pequena de que o posterior seja zero, dados os dados.

Na realidade, a interpretação bayesiana do LASSO está tomando o estimador MAP (Máximo A Posteriori) do posterior. Parece que você é familiar, mas para quem não é, isso é basicamente a máxima verossimilhança bayesiana, onde você usa o valor que corresponde à probabilidade máxima de ocorrência (ou o modo) como seu estimador para os parâmetros no LASSO. Como a distribuição aumenta exponencialmente até zero da direção negativa e cai exponencialmente na direção positiva, a menos que seus dados sugiram fortemente que o beta seja outro valor significativo, é provável que o valor máximo do valor de seu posterior seja 0.

Para encurtar a história, sua intuição parece basear-se na média do posterior, mas a interpretação bayesiana do LASSO baseia-se em adotar o modo do posterior.

— www3
fonte