Prova da fórmula LOOCV

De Uma Introdução à Aprendizagem Estatística de James et al., A estimativa de validação cruzada de saída única (LOOCV) é definida por que .

{cv}_{(n)} = \frac{1}{n} \sum_{Eu = 1}^{n} {MSE}_{Eu}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

Sem prova, a equação (5.2) afirma que, para mínimos quadrados ou regressão polinomial (se isso se aplica à regressão em apenas uma variável é desconhecida para mim), onde " está o o valor ajustado do ajuste dos mínimos quadrados originais ( não faço ideia do que isso significa, a propósito , significa usar todos os pontos no conjunto de dados?) e é a alavancagem "definida por

{cv}_{(n)} = \frac{1}{n} \sum_{Eu = 1}^{n} {(\frac{y_{Eu} - {\hat{y}}_{Eu}}{1 - h_{Eu}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{Eu} = \frac{1}{n} + \frac{(x_{Eu} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

Como alguém prova isso?

Minha tentativa: pode-se começar observando que mas separados disso (e se bem me lembro, essa fórmula para é verdadeira apenas para regressão linear simples ...), não tenho certeza de como proceder a partir daqui.

{\hat{y}}_{Eu} = β_{0 0} + \sum_{Eu = 1}^{k} β_{k} X_{k} + alguns termos polinomiais de grau \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

— Clarinetist
fonte

Suas equações parecem usar para mais de uma coisa ou estou muito confuso. De qualquer maneira, uma clareza adicional seria boa.

i

$i$

— Glen_b -Reinstala Monica

@Glen_b Acabei de aprender sobre o LOOCV ontem, então talvez eu não entenda algumas coisas corretamente. Pelo que entendi, você tem um conjunto de pontos de dados, digamos . Com LOOCV, você tem para cada fixo (número inteiro positivo) algum conjunto de validação e um conjunto de testes usado para gerar um modelo ajustado para cada . Por exemplo, digamos, ajustamos nosso modelo usando regressão linear simples com três pontos de dados, . Teríamos (para ser continuado) #

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

— Clarinetist

@Glen_b e . Usando os pontos em , podemos descobrir que, usando uma regressão linear simples, obtemos o modelo . Em seguida, calculamos o usando como o conjunto de validação e obtemos (apenas usando o ponto fornecido) e , fornecendo . Ok, talvez usar o sobrescrito não tenha sido a melhor ideia - vou mudar isso no post original.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— Clarinetist

aqui estão algumas notas de aula sobre a derivação pages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...

— Xavier Bourret Sicotte

Mostrarei o resultado para qualquer regressão linear múltipla, independentemente de os regressores serem polinômios de . De fato, mostra um pouco mais do que você solicitou, porque mostra que cada residual LOOCV é idêntico ao resíduo ponderado por alavancagem correspondente da regressão completa, não apenas que você pode obter o erro LOOCV como em (5.2) (existe pode haver outras maneiras pelas quais as médias concordam, mesmo que nem cada termo na média seja o mesmo). $X_t$

Deixe-me tomar a liberdade de usar notação ligeiramente adaptada.

Primeiro mostramos que onde é a estimativa usando todos os dados e a estimativa ao deixar de fora , observação . Seja definido como um vetor de linha tal que . são os resíduos.

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{você}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (UMA) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

A prova usa o seguinte resultado algébrico da matriz.

Seja uma matriz não singular, um vetor e um escalar. Se Então $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{b^{'} {UMA}^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (UMA + λ b b^{'})^{- 1} & = {UMA}^{- 1} - (\frac{λ}{1 + λ b^{'} {UMA}^{- 1} b}) {UMA}^{- 1} b b^{'} {UMA}^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

A prova de (B) segue imediatamente da verificação

\begin{aligned} {{UMA}^{- 1} - (\frac{λ}{1 + λ b^{'} {UMA}^{- 1} b}) {UMA}^{- 1} b b^{'} {UMA}^{- 1}} (UMA + λ b b^{'}) = Eu . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

O seguinte resultado é útil para provar (A)

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Prova de (C): Por (B), temos, usando , Então, encontramos $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

A prova de (A) agora segue de (C): Como , temos ou Então, em que a última igualdade segue de (C).

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {{Eu}_{k} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{você}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{você}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{você}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

Agora, observe . Multiplique em (A) por , adicione em ambos os lados e reorganize para obter, com os resíduos resultantes do uso de ( ), ou $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{você}}_{(t)} = {\hat{você}}_{t} + (\frac{{\hat{você}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{você}}_{(t)} = \frac{{\hat{você}}_{t} (1 - h_{t}) + {\hat{você}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{você}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— Christoph Hanck
fonte

A definição para está ausente na sua resposta. Presumo que esta seja uma matriz com a linha removida.

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— Mpgtas

Também mencionando o fato de que também seria útil.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— Mpgtas

@mpiktas, sim, obrigado pelos ponteiros. Eu editei para levar o primeiro comentário em consideração. Onde exatamente o segundo ajudaria? Ou deixe no seu comentário?

— Christoph Hanck

Ao iniciar a prova de (C), você escreve . Esse é um bom truque, mas duvido que o leitor casual esteja ciente disso.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— precisa saber é o seguinte

Dois anos depois ... Agradeço ainda mais essa resposta, agora que passei por uma sequência de modelos lineares em nível de pós-graduação. Estou reaprendendo este material com essa nova perspectiva. Você tem referências sugeridas (livros didáticos?) Que passam por derivações como as que você tem nesta resposta em detalhes?

— Clarinetist