Regularização da norma

Existem muitos métodos para executar a regularização - regularização baseada na norma , e por exemplo. De acordo com Friedman Hastie e Tibsharani , o melhor regularizador depende do problema: a natureza da verdadeira função do alvo, a base específica usada, a relação sinal / ruído e o tamanho da amostra. $L_0$ $L_1$ $L_2$

Existe alguma pesquisa empírica comparando métodos e desempenho de vários métodos de regularização?

r regression machine-learning regularization

— Ram Ahluwalia
fonte

Todos os três autores estão em Stanford. Por que não perguntar a um deles diretamente. Rob Tibshirani é muito acessível e Jerry Friedman também. Friedman fez muitas pesquisas originais em regressão regularizada. Então ele pode ser a melhor escolha.

— Michael R. Chernick

Claro que não posso dizer que dei a resposta. Mas direcioná-lo para a melhor pessoa para responder à pergunta parece ser mais do que apenas um comentário comum que geralmente tenta esclarecer. Muitas vezes me pergunto por que as pessoas sempre fazem suas perguntas aqui quando podem ir direto à fonte. Tenho quase certeza de que Friedman pode responder e faz muito sentido ir à fonte, especialmente quando se trata de algo escrito em seu livro. Eu poderia ir à fonte para obter a resposta e apresentá-la aqui.

— Michael R. Chernick

As pessoas são intimidadas pelo status da fonte como uma autoridade, assumem que a fonte está ocupada demais para lidar com a sua (em sua opinião) questão menor e sem importância, têm medo de ouvir uma pergunta grosseira "por que você está me incomodando com isso?" resposta ... É muito mais fácil ir à fonte se você também for uma fonte, talvez para outras coisas, no campo.

— jbowman

@jbowman Sim. Eu entendi aquilo. Mas você notará que conheço Tibshirani e Friedman em uma base pessoal e garanti à Op que seu medo é infundado com esses autores. Eu não mencionei Hastie, porque eu não o conheço, assim como os outros,.

— Michael R. Chernick

@chl Acho que não podemos realisticamente esperar vê-los ingressar no site. Isso exige muito tempo para professores ocupados, com algumas exceções, como Frank Harrell e possivelmente outros que usam pseudônimos. Mas acho que eles terão tempo para responder a perguntas específicas enviadas diretamente a eles.

— Michael R. Chernick

Vamos considerar um modelo linear penalizado.

$L_0$ $L_1$

$L_1$

$L_2$ $\lambda$ $L_2$

— Donbeo
fonte

L_{0}

$L_0$

L_{0}

$L_0$

Algumas adições à resposta de @Donbeo

1) A norma L0 não é uma norma no verdadeiro sentido. É o número de entradas diferentes de zero em um vetor. Esta norma não é claramente uma norma convexa e não é uma norma no verdadeiro sentido. Portanto, você pode ver termos como L0 'norma'. Torna-se um problema combinatório e, portanto, é NP difícil.

2) A norma L1 fornece uma solução esparsa (consulte o LASSO). Existem resultados seminais de Candes, Donoho etc., que mostram que, se a solução verdadeira for realmente escassa, os métodos penalizados por L1 a recuperarão. Se a solução subjacente não for escassa, você não obterá a solução subjacente nos casos em que p >> n. Há bons resultados que mostram que o Lasso é consistente.

3) Existem métodos como a rede Elastic de Zhou e Hastie que combinam soluções penalizadas de L2 e L1.

— Sid
fonte