Alguma desvantagem da rede elástica sobre o laço?

Quais são as desvantagens do uso de rede elástica em comparação com o laço. Eu sei que a rede elástica é capaz de selecionar grupos de variáveis quando elas são altamente correlacionadas.

Não tem o problema de selecionar mais de $n$ preditores quando $p \gg n$ . Considerando que o laço satura quando $p \gg n$ .
Quando existem preditores altamente correlacionados, o laço tende a escolher apenas um preditor do grupo.
Quando $n \gg p$ e os preditores são correlacionados, o desempenho de previsão do laço é menor que o do cume.

Todas essas desvantagens do laço são superadas pela rede elástica.

O que não entendo é quando o laço deve ser usado? Existe alguma razão para usá-lo quando a rede elástica tiver um desempenho melhor que o laço? Quais são as desvantagens do uso de rede elástica em alguns casos? Em quais casos o laço seria uma escolha melhor?

lasso elastic-net

— Ville
fonte

Uma desvantagem é o custo computacional. Você precisa validar cruzadamente o peso relativo da penalidade L1 vs. L2, $\alpha$ , e isso aumenta o custo computacional pelo número de valores no $\alpha$ rede.

Outra desvantagem (mas ao mesmo tempo uma vantagem) é a flexibilidade do estimador. Com maior flexibilidade, aumenta a probabilidade de sobreajuste. Pode ser que o melhor $\alpha$ para a população e para o tamanho da amostra $0$ , transformando a rede elástica em laço, mas você escolhe um valor diferente devido ao acaso (porque esse valor oferece um melhor desempenho ao validar cruzadamente na amostra específica).

— Richard Hardy
fonte

Comentário menor com relação ao seu segundo ponto: laço e rede elástica são estimadores para o mesmo modelo . Como tal, não há diferença na flexibilidade do modelo.

— 9118 hejseb

@hejseb: Com o LASSO, existe um único parâmetro que é otimizado durante a validação cruzada:

λ

$\lambda$ . Na rede elástica, você pode otimizar os dois

α

$\alpha$ e

λ

$\lambda$ , significando mais oportunidades de sobreajuste durante o processo de seleção de validação cruzada. Por outro lado, apenas usando os valores padrão de

α

$\alpha$ tendem a ter um desempenho muito bom, muitas vezes apenas

λ

$\lambda$ é otimizado. Então, eu discordo de sua afirmação, porque considero

α

$\alpha$ e

λ

$\lambda$ uma parte do modelo (embora eu entenda a ambiguidade).

— Cliff AB

@hejseb, excelente ponto! Agora corrigido. Cliff AB, acho que a definição do modelo não precisa incluir os parâmetros de ajuste do estimador (laço, rede elástica, ...) - que

α

$\alpha$ e

λ

$\lambda$ são - então para mim o comentário de hejseb faz muito sentido. Penso na definição de um modelo para a população (um modelo linear neste caso) e na estimativa de seus parâmetros (que incluem

β

$\beta$ s mas não

α

$\alpha$ ou

λ

$\lambda$ ) por algum estimador.

— Richard Hardy