Propriedades de polarização e variância da normalização vs


7

Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.L2L1

Estou procurando uma regra geral aqui. Se não houver, e a resposta depender de alguns outros fatores que ainda não foram explicados, explique.


+1 Mantemos o mesmo ? λ
Haitao Du

2
Eu acho que isso é amplo demais para ser responsável. Você tem mais detalhes do problema?
Richard Hardy

11
Estou procurando uma regra geral para que seja propositadamente vaga. Se isso significa que não há resposta, a menos que haja mais detalhes, isso é aceitável. Eu ficaria curioso para saber quais detalhes precisariam ser adicionados para chegar a uma conclusão.
Max

Respostas:


1

A variação aumentará, o problema com a regularização de L1 é que alguns dos coeficientes são altamente imprevisíveis. A resposta depende da gravidade da sua regularização ( valor ). Eu gerei onda de pecado com ruído gaussiano com sementes diferentes e o que é observado é como menor valor a norma l1 tem uma variação menor, pois valores aumenta a norma l2 tem variação menor.λλλ
insira a descrição da imagem aqui

Como você pode ver na imagem, o alfa é o coeficiente de regularização. em o correspondente, vemos a grande diferença entre os coeficientes de regressão de Rigde, mas, à medida que alfa aumenta, o desvio na crista diminui drasticamente. mas quando o laço e a crista têm menor variação. Assim, à medida que o alfa diminui, a variação da crista aumenta drasticamente.α=1e15α=10

PS: Eu experimentei essa configuração várias vezes e a tendência é consistente.
Portanto, respondendo à sua pergunta, a variação aumentará quando você alternar do regularizador L1 para L2 (e a escala de aumento depende do valor ).λ

insira a descrição da imagem aqui

também eu adicionei os produtos de ponto de vector.just para ver como diffrent a . as entradas diagonais são -ve, o que diz que há muita diferença entre os . isso será estendido ainda mais com análises mais detalhadas.WwWs


Você tem alguma referência para isso (além de suas próprias simulações)?
Kjetil b halvorsen

não, eu não tenho nenhuma referência
Vivek Barsopia 8/17/17
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.