Ajuste regularizado a partir de dados resumidos: escolhendo o parâmetro


9

Seguindo a minha pergunta anterior , a solução para as equações normais da regressão de crista é dada por:

β^λ=(XTX+λI)1XTy

Você poderia oferecer alguma orientação para escolher o parâmetro de regularização . Além disso, como a diagonal de X T X cresce com o número de observações m , λ também deve ser uma função de m ?λXTXmλm

Respostas:


7

Minha resposta será baseada em uma boa revisão do problema pela regressão de Anders Bjorkstorm Ridge e problemas inversos (eu recomendaria ler o artigo inteiro).

λ

  1. β^i,λλβ^i,λλXy
  2. L|β^λ||yXβ^λ|LL
  3. λXy

3
k

kk

Existem alguns bons métodos de inicialização de bloco para séries temporais estacionárias. Talvez eles possam ou tenham sido modificados com a finalidade de selecionar um parâmetro de regularização.
cardeal

Você pode achar útil o seguinte documento: Golub, GH; Heath, M. & Wahba, G. Validação cruzada generalizada como método para a escolha de um bom parâmetro de cume. Technometrics, 1979, 21, 215-223. O critério introduzido por Golub et al. não requer nenhuma nova amostragem.
emakalic
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.