Regressão em ângulo mínimo x laço

A regressão de menor ângulo e o laço tendem a produzir caminhos de regularização muito semelhantes (idênticos, exceto quando um coeficiente cruza zero).

Ambos podem ser eficientemente ajustados por algoritmos praticamente idênticos.

Existe alguma razão prática para preferir um método ao outro?

Os teoremas do "sem almoço grátis" sugerem que não há distinções a priori entre algoritmos de inferência estatística, ou seja, se o LARS ou o LASSO funcionam melhor depende da natureza do conjunto de dados específico. Na prática, é melhor tentar os dois e usar algum estimador confiável do desempenho da generalização para decidir qual usar em operação (ou usar um conjunto). Como as diferenças entre o LARS e o LASSO são bastante pequenas, as diferenças no desempenho provavelmente também serão pequenas, mas, em geral, há apenas uma maneira de descobrir com certeza!

Quando usado no modo de estágio, o algoritmo LARS é um método ganancioso que não produz um estimador comprovadamente consistente (em outras palavras, ele não converge para um resultado estável quando você aumenta o número de amostras).

Por outro lado, o LASSO (e, portanto, o algoritmo LARS quando usado no modo LASSO) resolve um problema convexo de ajuste de dados. Em particular, esse problema (o estimador linear penalizado de L1) possui muitas propriedades comprovadas (consistência, escarsistência).

Assim, tentaria sempre usar o LARS no modo LASSO (ou usar outro solucionador para o LASSO), a menos que você tenha boas razões para preferir o estágio.

O LASSO não é um algoritmo em si, mas um operador.

Existem muitas maneiras diferentes de derivar algoritmos eficientes para problemas regularizados. Por exemplo, pode-se usar programação quadrática para atacar diretamente. Eu acho que é isso que você chama de LASSO.$\ell_1$

Outro é o LARS, muito popular por sua simplicidade, conexão com procedimentos avançados (ainda que não muito gananciosos), provas muito construtivas e fácil generalização.

Mesmo em comparação com os solucionadores de programação quadrática de ponta, o LARS pode ser muito mais eficiente.

Como mencionado anteriormente, o LARS é um método específico para resolver o problema do laço, ou seja, o problema dos mínimos quadrados . Seu sucesso decorre do fato de exigir um esforço assintótico comparável à regressão de mínimos quadrados padrão e, portanto, um desempenho altamente superior ao exigido pela solução de um problema de programação quadrática. Extensões posteriores do LARS também abordaram o problema mais geral da rede elástica, em que você inclui uma soma de de e no funcional dos mínimos quadrados.$l_1$$l_1$$l_2$

A intenção desta resposta é de salientar que LARS hoje em dia parece ter sido superseeded por coordenar-descida e estocásticos coordenar-descida métodos. Esses métodos são baseados em algoritmos particularmente simples, enquanto ao mesmo tempo o desempenho parece ser maior que o do LARS (geralmente uma ou duas ordens de magnitude mais rápidas). Para exemplos, veja este artigo de Friedman et al.

Portanto, se você planeja implementar o LARS, não. Use a descida de coordenadas, que leva algumas horas.

$\lambda$

Aqui está a minha opinião:

$C_p$

Além disso, o LARS é computacionalmente rápido e confiável. O laço é rápido, mas há uma pequena diferença entre o algoritmo que faz com que o LARS vença o desafio da velocidade. Por outro lado, existem pacotes alternativos, por exemplo, no R, chamados 'glmnet', que funcionam mais confiáveis ​​que o pacote lars (porque é mais geral).

Em resumo, não há nada significativo que possa ser considerado sobre o lars e o laço. Dependia do contexto que você vai usar o modelo.

Pessoalmente, aconselho o uso do glmnet no R em casos de alta e baixa dimensão. ou se você estiver interessado em critérios diferentes, poderá usar o http://cran.r-project.org/web/packages/msgps/ package.

Em alguns contextos, uma versão regularizada da solução dos mínimos quadrados pode ser preferível. O algoritmo LASSO (operador de contração e seleção menos absoluto), por exemplo, encontra uma solução de mínimos quadrados com a restrição de que | β 1, a norma L1 do vetor de parâmetro, não é maior que um determinado valor. Equivalentemente, ele pode resolver uma minimização irrestrita da penalidade de mínimos quadrados com α | β 1 adicionado, onde α é uma constante (esta é a forma lagrangiana do problema restrito.) Esse problema pode ser resolvido usando programação quadrática ou métodos de otimização convexos mais gerais, bem como por algoritmos específicos, como o algoritmo de regressão de menor ângulo. A formulação regularizada por L1 é útil em alguns contextos devido à tendência de preferir soluções com menos valores de parâmetro diferentes de zero, reduzindo efetivamente o número de variáveis ​​das quais a solução dada depende. [11] Por esse motivo, o LASSO e suas variantes são fundamentais para o campo da detecção compactada.