Suposições do LASSO

Em um cenário de regressão do LASSO, em que

$y= X \beta + \epsilon$ ,

e as estimativas do LASSO são fornecidas pelo seguinte problema de otimização

$\min_\beta ||y - X \beta|| + \tau||\beta||_1$

Existem suposições distributivas em relação ao $\epsilon$ ?

Em um cenário de OLS, seria de esperar que o $\epsilon$ seja independente e normalmente distribuído.

Faz algum sentido analisar os resíduos em uma regressão do LASSO?

Eu sei que a estimativa do LASSO pode ser obtida como o modo posterior em anteriores independentes de dupla exponencial independente para $\beta_j$ . Mas não encontrei nenhuma "fase de verificação de suposições" padrão.

Desde já, obrigado (:

— deps_stats
fonte

Não sou especialista em LASSO, mas aqui está minha opinião.

Primeira nota que o OLS é bastante robusto para violações de independência e normalidade. Então, julgando o Teorema 7 e a discussão acima no artigo Regressão Robusta e Lasso (por X. Huan, C. Caramanis e S. Mannor), acho que na regressão do LASSO estamos mais preocupados não com a distribuição de , mas na distribuição conjunta de . O teorema baseia-se na suposição de que é uma amostra, portanto, isso é comparável às suposições usuais do OLS. Mas o LASSO é menos restritivo, não restringe a ser gerado a partir do modelo linear. $\varepsilon_i$ $(y_i,x_i)$ $(y_i,x_i)$ $y_i$

Em resumo, a resposta para sua primeira pergunta é não. Não há premissas distributivas em , todas as premissas distributivas estão . Além disso, eles são mais fracos, pois no LASSO nada é postulado sobre a distribuição condicional . $\varepsilon$ $(y,X)$ $(y|X)$

Dito isto, a resposta para a segunda pergunta também é não. Como o não desempenha nenhum papel, não faz sentido analisá-los da maneira que você os analisa no OLS (testes de normalidade, heterocedasticidade, Durbin-Watson, etc.). No entanto, você deve analisá-los no contexto de quão bom o modelo foi adequado. $\varepsilon$

— mpiktas
fonte