Impulsionar: por que a taxa de aprendizado é chamada de parâmetro de regularização?

O parâmetro de taxa de aprendizado ( ) no Gradient Boosting reduz a contribuição de cada novo modelo de base - tipicamente uma árvore rasa - que é adicionada na série. Foi demonstrado que aumenta drasticamente a precisão do conjunto de testes, o que é compreensível, pois em etapas menores, o mínimo da função de perda pode ser alcançado com mais precisão. $\nu \in [0,1]$

Não entendo por que a taxa de aprendizado é considerada um parâmetro de regularização ? Citando os elementos de aprendizagem estatística , seção 10.12.1, p.364:

Controlar o número de árvores não é a única estratégia de regularização possível. Assim como nas redes neurais e de regressão de crista, também podem ser empregadas técnicas de retração. Valores menores de (mais encolhimento) em resultado do risco de formação maior para o mesmo número de iterações M . Assim, ν e M controlam o risco de previsão nos dados de treinamento.$\nu$$M$$\nu$$M$

Regularização significa "maneira de evitar o ajuste excessivo", portanto, é claro que o número de iterações é crucial nesse sentido (um M alto demais leva ao ajuste excessivo). Mas:$M$$M$

Valores menores de (mais encolhimento) em resultado do risco de formação maior para o mesmo número de iterações M .$\nu$$M$

significa apenas que, com baixas taxas de aprendizado, são necessárias mais iterações para obter a mesma precisão no conjunto de treinamento. Então, como isso se relaciona com a super adaptação?

$100.0$$0.0$

• $10.0$$10$$0.0$

• $1.0$$100$

Agora pense sobre isso: as duas abordagens são iguais? e se não, qual é o melhor no contexto de otimização e no contexto de aprendizado de máquina ?

$0$

Podemos pensar na primeira abordagem como uma "pesquisa de grade de nível grosso" e na segunda abordagem como uma "pesquisa de grade de nível fino". A segunda abordagem geralmente funciona melhor, mas precisa de mais poder computacional para mais iterações.

$50$

$0.1$$500$$0.0$

É por isso que uma pequena taxa de aprendizado é igual a "mais regularizações".

Aqui está um exemplo do uso de diferentes taxas de aprendizado em dados experimentais usando xgboost. Verifique os dois links abaixo para ver o que significa etaou faz n_iterations.

Parâmetros para o Tree Booster

Sobreajuste do XGBoost Control

$50$

PS. a evidência de falta de ajuste é que o conjunto de treinamento e teste tem um erro grande e a curva de erro para treinamento e teste está próxima uma da outra. O sinal de excesso de ajuste é que o erro do conjunto de treinamento é muito baixo e o conjunto de testes é muito alto, duas curvas estão distantes uma da outra.

Com o método de Newton, você atualiza seus parâmetros subtraindo o gradiente da perda dividido pela curvatura da perda. Na otimização da descida do gradiente, você atualiza seus parâmetros subtraindo o gradiente das perdas vezes a taxa de aprendizado. Em outras palavras, o recíproco da taxa de aprendizado é usado no lugar da curvatura real da perda.

Vamos definir a perda do problema como a perda que define o que é um bom modelo versus um modelo ruim. É a verdadeira perda. Vamos definir a perda otimizada como o que é realmente minimizado pelas suas regras de atualização.

Por definição, um parâmetro de regularização é qualquer termo que esteja na perda otimizada, mas não na perda do problema. Como a taxa de aprendizado está agindo como um termo quadrático extra na perda otimizada, mas não tem nada a ver com a perda do problema, é um parâmetro de regularização.

Outros exemplos de regularização que justificam essa perspectiva são:

• Redução de peso, que é como um termo extra na perda otimizada que penaliza grandes pesos,
• termos que penalizam modelos complicados e
• termos que penalizam correlações entre recursos.