Mostrarei o resultado para qualquer regressão linear múltipla, independentemente de os regressores serem polinômios de . De fato, mostra um pouco mais do que você solicitou, porque mostra que cada residual LOOCV é idêntico ao resíduo ponderado por alavancagem correspondente da regressão completa, não apenas que você pode obter o erro LOOCV como em (5.2) (existe pode haver outras maneiras pelas quais as médias concordam, mesmo que nem cada termo na média seja o mesmo).Xt
Deixe-me tomar a liberdade de usar notação ligeiramente adaptada.
Primeiro mostramos que
onde é a estimativa usando todos os dados e a estimativa ao deixar de fora , observação . Seja definido como um vetor de linha tal que . são os resíduos.(A) β β (t)X(t)tXt y t=Xt β u t
β^- β^( T )= ( u^t1 - ht) ( X′X)- 1X′t,(UMA)
β^β^( T )X( T )tXty^t= Xtβ^você^t
A prova usa o seguinte resultado algébrico da matriz.
Seja uma matriz não singular, um vetor e um escalar. Se
Então
b λ λUMAbλ (A+λbb′)-1
λ≠ - 1b′UMA- 1b
( A + λ b b′)- 1= A- 1- ( λ1 + λ b′UMA- 1b) A- 1b b′UMA- 1(B)
A prova de (B) segue imediatamente da verificação
{ A- 1- ( λ1 + λ b′UMA- 1b) A- 1b b′UMA- 1} (A+λb b′) = I.
O seguinte resultado é útil para provar (A)
( X′( T )X( T ))- 1X′t= ( 11 - ht) ( X′X)-1X′t. (C)
Prova de (C): Por (B), temos, usando ,
Então, encontramos
∑Tt = 1X′tXt= X′X(X ′ (
( X′( T )X( T ))- 1= ( X′X- X′tXt)- 1=( X′X)-1+ (X′X)- 1X′tXt(X′X)- 11 -Xt(X′X)- 1X′t.
( X′( T )X( T ))- 1X′t= ( X′X)- 1X′t+ ( X′X)- 1X′t( Xt( X′X)- 1X′t1 - Xt( X′X)- 1X′t)= ( 11 - ht) ( X′X)- 1X′t.
A prova de (A) agora segue de (C): Como
, temos
ou
Então,
em que a última igualdade segue de (C).( X ' ( t ) X ( t ) + X ' t X t ) β
X′Xβ^= X′y,
{ I k + ( X ′ ( t ) X ( t ) ) - 1( X′( T )X( T )+ X′tXt) β^= X′( T )y( T )+ X′tyt,
{ Euk+ ( X′( T )X( T ))- 1X′tXt} β^= β^( T )+ ( X′( T )X( T ))- 1X′t( Xtβ^+ u^t) .
β^= β^( T )+ ( X′( T )X( T ))- 1X′tvocê^t= β^( T )+ ( X′X)- 1X′tvocê^t1 - ht,
Agora, observe . Multiplique em (A) por , adicione em ambos os lados e reorganize para obter, com os resíduos resultantes do uso de ( ),
ou
ht= Xt( X′X)- 1X′tXtytvocê^( T )β^( T )yt- Xtβ^( T )
você^( T )= u^t+ ( u^t1 - ht) ht
você^( T )= u^t( 1 - ht) + u^tht1 - ht= u^t1 - ht