Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe um termo metodológico para isso? Além disso, quais são as vantagens de fazer o laço duas vezes?
Respostas:
Sim, o procedimento que você está perguntando (ou pensando) é chamado de laço relaxado .
A idéia geral é que, no processo de execução do LASSO pela primeira vez, você provavelmente esteja incluindo "variáveis de ruído"; executar o LASSO em um segundo conjunto de variáveis (após o primeiro LASSO) oferece menos concorrência entre as variáveis que são "concorrentes reais" para fazer parte do modelo e não apenas as variáveis de "ruído". Tecnicamente, o que esse método visa é superar a convergência lenta (conhecida) do LASSO em conjuntos de dados com grande número de variáveis.
Você pode ler mais sobre isso no artigo original de Meinshausen (2007) .
Também recomendo a seção 3.8.5 sobre Elementos de aprendizagem estatística (Hastie, Tibshirani & Friedman, 2008) , que fornece uma visão geral de outros métodos muito interessantes para realizar a seleção de variáveis usando o LASSO.
A idéia é separar os dois efeitos do laço
A idéia do laço relaxado é que você separe os dois efeitos: você aplica uma penalidade alta no primeiro passe para selecionar variáveis; e uma penalidade menor no segundo passe para reduzi-los em uma quantidade menor.
O artigo original (conforme vinculado por Néstor) fornece mais detalhes.