Na regressão linear, por que a regularização também penaliza os valores dos parâmetros?

Atualmente aprendendo regressão de cordilheira e fiquei um pouco confuso sobre a penalização de modelos mais complexos (ou a definição de um modelo mais complexo).

Pelo que entendi, a complexidade do modelo não se correlaciona necessariamente com a ordem polinomial. Portanto:

E eu sei que o ponto de regularização é manter a complexidade do modelo baixa, por exemplo, temos um polinômio de 5ª ordem

Quanto mais parâmetros forem 0, melhor.

Mas o que não entendo é que, se fosse o mesmo polinômio de ordem, por que valores mais baixos de parâmetros são menos penalizados? Então, por que:

Obrigado!

os valores dos parâmetros dependem simplesmente dos dados

Esta é a parte principal da sua pergunta. É aqui que você está confuso.

Sim, os valores dos parâmetros dependem dos dados. Mas os dados são fixos quando ajustamos um modelo. Em outras palavras, ajustamos um modelo condicional às observações . Não faz sentido comparar a complexidade de diferentes modelos que foram ajustados a diferentes conjuntos de dados .

E no contexto de um conjunto de dados fixo, um modelo

está de fato mais próximo do modelo mais simples possível, a saber, o modelo de zero plano,

e isso vale independentemente da escala de suas observações.

$2$$433$$2$$433$