Regularização da norma


10

Existem muitos métodos para executar a regularização - regularização baseada na norma , L 1 e L 2, por exemplo. De acordo com Friedman Hastie e Tibsharani , o melhor regularizador depende do problema: a natureza da verdadeira função do alvo, a base específica usada, a relação sinal / ruído e o tamanho da amostra.L0L1L2

Existe alguma pesquisa empírica comparando métodos e desempenho de vários métodos de regularização?


Todos os três autores estão em Stanford. Por que não perguntar a um deles diretamente. Rob Tibshirani é muito acessível e Jerry Friedman também. Friedman fez muitas pesquisas originais em regressão regularizada. Então ele pode ser a melhor escolha.
Michael R. Chernick

Claro que não posso dizer que dei a resposta. Mas direcioná-lo para a melhor pessoa para responder à pergunta parece ser mais do que apenas um comentário comum que geralmente tenta esclarecer. Muitas vezes me pergunto por que as pessoas sempre fazem suas perguntas aqui quando podem ir direto à fonte. Tenho quase certeza de que Friedman pode responder e faz muito sentido ir à fonte, especialmente quando se trata de algo escrito em seu livro. Eu poderia ir à fonte para obter a resposta e apresentá-la aqui.
Michael R. Chernick

11
As pessoas são intimidadas pelo status da fonte como uma autoridade, assumem que a fonte está ocupada demais para lidar com a sua (em sua opinião) questão menor e sem importância, têm medo de ouvir uma pergunta grosseira "por que você está me incomodando com isso?" resposta ... É muito mais fácil ir à fonte se você também for uma fonte, talvez para outras coisas, no campo.
jbowman

11
@jbowman Sim. Eu entendi aquilo. Mas você notará que conheço Tibshirani e Friedman em uma base pessoal e garanti à Op que seu medo é infundado com esses autores. Eu não mencionei Hastie, porque eu não o conheço, assim como os outros,.
Michael R. Chernick

11
@chl Acho que não podemos realisticamente esperar vê-los ingressar no site. Isso exige muito tempo para professores ocupados, com algumas exceções, como Frank Harrell e possivelmente outros que usam pseudônimos. Mas acho que eles terão tempo para responder a perguntas específicas enviadas diretamente a eles.
Michael R. Chernick

Respostas:


2

Vamos considerar um modelo linear penalizado.

L0L1

L1

L2λL2


11
L0L0

1

Algumas adições à resposta de @Donbeo

1) A norma L0 não é uma norma no verdadeiro sentido. É o número de entradas diferentes de zero em um vetor. Esta norma não é claramente uma norma convexa e não é uma norma no verdadeiro sentido. Portanto, você pode ver termos como L0 'norma'. Torna-se um problema combinatório e, portanto, é NP difícil.

2) A norma L1 fornece uma solução esparsa (consulte o LASSO). Existem resultados seminais de Candes, Donoho etc., que mostram que, se a solução verdadeira for realmente escassa, os métodos penalizados por L1 a recuperarão. Se a solução subjacente não for escassa, você não obterá a solução subjacente nos casos em que p >> n. Há bons resultados que mostram que o Lasso é consistente.

3) Existem métodos como a rede Elastic de Zhou e Hastie que combinam soluções penalizadas de L2 e L1.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.