Por que definitivo?

Na regressão spline, não é incomum que a expansão da base crie uma matriz de projeto com deficiência de classificação , mas é sabido que a penalização do procedimento de estimativa resolve o problema. Não sei como mostrar que a penalização significa que é definitivo positivo. (Eu sei que as matrizes PD são invertíveis.)$B_{n\times p}$$B^TB+\lambda\Omega$

Para preparar o cenário, procuramos para f (x) dada pela expansão de base f (x_i) = \ sum_j \ alpha_j h_j (x_i ) . Coletando os vetores básicos em B , posso mostrar com bastante facilidade que essa otimização se reduz a$\min_{\alpha\in\mathbb{R}^p} \sum_i|| y_i-f(x_i)||^2+\lambda\int_a^b [f''(t)]^2dt$$f(x)$$f(x_i)=\sum_j\alpha_j h_j(x_i)$$B$

onde $\Omega_{ij}=\int_a^b h_j^{\prime\prime}(t) h_i^{\prime\prime}(t)dt$ .

Aqui está o meu raciocínio até agora. Sabemos que $B$ é deficiente na classificação porque $p>n$ . Isso implica que $B^TB$ também é deficiente na classificação; Também posso mostrar que pelo menos um valor próprio é 0 e que é semidefinido positivo.

Mas agora estou empacado porque não sei raciocinar sobre $\Omega$ ou mostrar que $B^TB+\lambda\Omega$ é PD para qualquer $\lambda>0$ . Eu sei que $\Omega$ é uma matriz de Gram, mas isso só nos leva a mostrar que $\Omega$ é PSD.

Mostrar que é PD equivale a mostrar que é PD. (Obrigado a Matthew Gunn por apontar isso nos comentários.)$B^TB+\lambda\Omega$$\Omega$

Isso ocorre porque é, no caso de , deficiente na classificação e, portanto, PSD. Isso ocorre porque a forma quadrática porque podemos reescrevê-la como porque o quadrado de qualquer número real não é negativo. Portanto, temos porque se é PD, então , a quantidade é a soma de um número não negativo e um número positivo, que deve ser positivo. Portanto, é PD, enquanto é PD.$B^TB$$p>n$$a^TB^TBa\ge0\forall a\in\{\mathbb{R}^n\setminus0\}$$||Ba||_2^2\ge0$$a^T(B^TB+\Omega)a=a^TB^TBa+a^T\Omega a >0$$\Omega$$a^T\Omega a>0$$a^TB^TBa+a^T\Omega a$$B^TB+\Omega$$\Omega$

Então, precisamos raciocinar sobre . Ele se encaixa na definição de uma matriz de Gram porque é fornecida pelo produto interno padrão nas funções (estipulado na pergunta). As funções base são linearmente independentes (porque formam uma base), portanto é PD.$\Omega$$\Omega$

$\Omega$ é PD se suas colunas forem independentes. Podemos escreverSe os vetores de são linearmente dependentes , temos para alguns porque por definição de dependência linear e pelas propriedades do determinante.$\Omega=A^TA.$$A$$\Omega a=A^TAa=A^T0=0$$a\neq 0$$Aa=0$$|\Omega|=|A^TA|=|A|^2=0$

É fácil mostrar que isso é verdade para qualquer ; todos os mesmos argumentos se aplicam porque números positivos são fechados sob multiplicação.$\lambda>0$