A definição splines cúbicos naturais para regressão

16

Estou aprendendo sobre splines do livro "Os elementos de mineração, inferência e previsão de dados estatísticos de aprendizagem", de Hastie et al. Eu descobri na página 145 que splines cúbicos naturais são lineares além dos nós dos limites. Existem , nos splines e o seguinte é fornecido sobre esse spline no livro. $K$ $\xi_1, \xi_2, ... \xi_K$

Pergunta 1: Como são liberados 4 graus de liberdade? Eu não entendo essa parte.

Pergunta 2 : Na definição de quando então . O que o autor está tentando fazer nesta fórmula? Como isso ajuda a garantir que os splines sejam lineares além dos nós dos limites? $d_k(X)$ $k=K$ $d_K(X) = \frac 0 0$

— Durin
fonte

17

Vamos começar considerando splines cúbicos comuns. Eles são cúbicos entre cada par de nós e cúbicos fora dos nós de fronteira. Começamos com 4df para o primeiro cúbico (à esquerda do primeiro nó de limite) e cada nó adiciona um novo parâmetro (porque a continuidade de splines e derivadas cúbicas e as segundas derivadas adicionam três restrições, deixando um parâmetro livre), perfazendo um total de parâmetros para knots. $K+4$ $K$

Um spline cúbico natural é linear nas duas extremidades. Isto limita as peças cúbicas e quadráticas há a 0, cada reduzindo o df por 1. Isso é df 2 em cada uma das duas extremidades da curva, reduzindo para . $K+4$ $K$

Imagine que você decide que pode gastar um número total de graus de liberdade ( , digamos) em sua estimativa de curva não paramétrica. Como a imposição de um spline natural utiliza 4 graus de liberdade a menos do que um spline cúbico comum (para o mesmo número de nós), com esses parâmetros você pode ter mais 4 nós (e mais 4 parâmetros) para modelar a curva entre os nós de limite . $p$ $p$
Note-se que a definição para é para (já que existem todas as funções básicas de ). Portanto, a última função básica nessa lista, . Portanto, o mais alto necessário para as definições de é para $N_{k+2}$ $k=1,2,...,K-2$ $K$ $N_{K}=d_{K-2}-d_{K-1}$ $k$ $d_k$ $k=K-1$ . (Ou seja, não precisamos tentar descobrir o que alguns podem fazer, pois não os usamos.) $d_K$

— Glen_b -Reinstate Monica
fonte

4

Eu detalho a asserção: "Isso libera quatro graus de liberdade (duas restrições cada uma nas duas regiões de fronteira)" em um exemplo com nós . Os intervalos relacionados são , e (para que existam intervalos e $2$ $\xi_1, \xi_2$ $]-\infty, \xi_1[$ $]\xi_1, \xi_2[$ $]\xi_2, +\infty[$ $|I|=3$ $|I|-1=2$ nós).

Para splines cúbicos (comuns)

Sem restrições de regularidade, temos equações: $4|I|=12$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X; 1 (X < ξ_{1}) X^{2}; 1 (X < ξ_{1}) X^{3};

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X; 1 (ξ_{2} \leq X) X^{2}; 1 (ξ_{2} \leq X) X^{3} .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$

Ao adicionar as restrições (splines cúbicos assume uma regularidade com ), precisamos adicionar restrições nas coeficientes lineares. $\mathcal{C}^r$ $r=2$ $(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$

Terminamos com graus de liberdade. $12-6=6$

Para estrias cúbicas naturais

"Um splines cúbicos naturais adiciona restrições adicionais, a saber, que a função é linear além dos nós do limite".

$4|I|-4=12-4$ $4$ $2$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X;

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$

$3\times(|I|-1) = 6$

$8-6=2$

— ahstat
fonte