Qual é a conexão entre regularização e o método de multiplicadores de intervalos de tempo?


12

Para evitar o excesso de ajuste nas pessoas, adicione um termo de regularização (proporcional à soma quadrada dos parâmetros do modelo) com um parâmetro de regularização à função de custo da regressão linear. Esse parâmetro o mesmo que um multiplicador de intervalo? Então, a regularização é igual ao método do multiplicador de lagrange? Ou como esses métodos estão conectados? λλλ

Respostas:


11

Digamos que estamos otimizando um modelo com parâmetros , minimizando algum critério sujeito a uma restrição na magnitude do vetor de parâmetro (por exemplo, para implementar uma abordagem de minimização de risco estrutural por construindo um conjunto aninhado de modelos de crescente complexidade), precisaríamos resolver: f(θ )θf(θ)

minθf(θ)s.t.θ2<C

O Lagrangiano para esse problema é (ressalva: acho que foi um longo dia ... ;-)

Λ(θ,λ)=f(θ)+λθ2λC.

Portanto, pode-se ver facilmente que uma função de custo regularizado está intimamente relacionada a um problema de otimização restrito, com o parâmetro de regularização relacionado à constante que governa a restrição ( ) e é essencialmente o multiplicador de Lagrange. λC

Isso ilustra por que, por exemplo, a regressão de cume implementa a minimização de risco estrutural: Regularização é equivalente a restringir a magnitude do vetor de peso e, se , todos os modelos que podem ser feitos enquanto obedecem à restrição queC1>C2

θ2<C2

também estará disponível sob a restrição

θ2<C1 .

Portanto, a redução de gera uma sequência de espaços de hipóteses de crescente complexidade.λ

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.