O que os estatísticos querem dizer quando dizem que realmente não entendemos como o LASSO (regularização) funciona?

Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso funciona tecnicamente, como forma de evitar ajustes excessivos por encolhimento de parâmetros, mas estou me perguntando se existe um significado mais profundo por trás dessa declaração. Alguém tem alguma idéia? Obrigado!

machine-learning lasso regularization

— user321627
fonte

Defina "obras". Trabalha para fazer o que, exatamente? Trabalha para aumentar a escarsidade? Trabalha para evitar o excesso de ajuste? Trabalha para produzir testes estatísticos razoáveis? - Ou, dito de outra maneira, o que "não funcionaria" significaria nesse contexto? - Como você pode ver nos comentários da resposta atual, há alguma confusão sobre o que você procura.

— RM

@ RM, você está apenas reformulando o OP, IMHO. O OP provavelmente está atrás do mesmo desconhecido que você tem problemas para identificar.

— Richard Hardy

@RichardHardy Vejo como pode ser esse o caso, mas, se for o caso, espero que o OP possa pelo menos expandir o contexto das conversas sobre estatísticas nas quais o assunto surgiu, esperançosamente, para nos ajudar a focar no que esses palestrantes podem tenho pensado.

— RM

@ RM, bom então.

— Richard Hardy

Respostas:

Às vezes, há uma falta de comunicação entre os estatísticos que trabalham e a comunidade da teoria da aprendizagem que estuda os fundamentos de métodos como o laço. As propriedades teóricas do laço são realmente muito bem compreendidas.

Este documento tem um resumo na Seção 4 de muitas das propriedades que ele desfruta. Os resultados são bastante técnicos, mas essencialmente:

Ele recupera o suporte verdadeiro (conjunto de entradas diferentes de zero) de um vetor de peso esparso sob algumas suposições suaves, para conjuntos de dados grandes o suficiente, com alta probabilidade.
Ele converge para o vetor de peso correto na taxa ideal à medida que o tamanho da amostra aumenta, desde que as colunas de não sejam muito correlacionadas. $X$

— AaronDefazio
fonte

Se, ao entender por que o Lasso funciona, você quer dizer por que ele realiza a seleção de recursos (ou seja, definir pesos para alguns recursos exatamente como 0), entendemos isso muito bem:

— rinspy
fonte

Obrigado por uma boa ilustração, mas suspeito que essa não seja a parte em que o OP está interessado. É claro que cabe ao OP esclarecer isso.

— Richard Hardy

Não entendo o (s) ponto (s) do seu diagrama.

— Michael R. Chernick

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne, seus pontos formam uma excelente base para uma resposta!

— Richard Hardy

@Chaconne, ele parecia gerar discussão útil embora identificando o que se entende sobre Lasso!

— rinspy

Há o problema da recuperação de sinal da consistência de seleção de modelo (que foi respondida por estatísticos ) e

existe o problema da inferência (construção de bons intervalos de confiança para as estimativas), que é um tópico de pesquisa.

A maior parte do trabalho é feita por estatísticos, e não "pela comunidade da teoria da aprendizagem".

— Gao Zheng
fonte

Como isso se soma ao que já foi dado?

— Michael R. Chernick

Ninguém mencionou o problema da inferência aqui, que acredito ser a razão pela qual a alegação ("não é bem compreendida") foi feita em primeiro lugar.

— Gao Zheng