Ajuste regularizado a partir de dados resumidos: escolhendo o parâmetro

Seguindo a minha pergunta anterior , a solução para as equações normais da regressão de crista é dada por:

{\hat{β}}_{λ} = (X^{T} X + λ I)^{- 1} X^{T} y

$\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty$

Você poderia oferecer alguma orientação para escolher o parâmetro de regularização . Além disso, como a diagonal de cresce com o número de observações , também deve ser uma função de ? $\lambda$ $X^TX$ $m$ $\lambda$ $m$

regression regularization ridge-regression

— NPE
fonte

Minha resposta será baseada em uma boa revisão do problema pela regressão de Anders Bjorkstorm Ridge e problemas inversos (eu recomendaria ler o artigo inteiro).

$\lambda$

$\hat{\beta}_{i,\lambda}$ $\lambda$ $\hat{\beta}_{i,\lambda}$ $\lambda$ $X$ $y$
$L$ $|\hat{{\beta}}_\lambda|$ $|y - X\hat{\beta}_\lambda|$ $L$ $L$
$\lambda$ $X$ $y$

— Dmitrij Celov
fonte

k

$k$

k

$k$

k

$k$

Existem alguns bons métodos de inicialização de bloco para séries temporais estacionárias. Talvez eles possam ou tenham sido modificados com a finalidade de selecionar um parâmetro de regularização.

— cardeal

Você pode achar útil o seguinte documento: Golub, GH; Heath, M. & Wahba, G. Validação cruzada generalizada como método para a escolha de um bom parâmetro de cume. Technometrics, 1979, 21, 215-223. O critério introduzido por Golub et al. não requer nenhuma nova amostragem.

— emakalic