As estatísticas de validação cruzada (CV) e de validação cruzada generalizada (GCV)

Encontrei definições possivelmente conflitantes para a estatística de validação cruzada (CV) e para a estatística de validação cruzada generalizada (GCV) associada a um modelo linear (com um vetor de erro normal e homoscedástico ). $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

Por um lado, Golub, Heath & Wahba definem a estimativa GCV $\hat{\lambda}$ como (p. 216)

o minimizador de $V\left(\lambda\right)$ fornecido por
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ onde $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

Por outro lado, Efron define o mesmo conceito que $V\left(0\right)$ (p. 24), mas atribui a introdução desse conceito a Craven & Wahba, onde sua definição (p. 377) é essencialmente a mesma como a definição acima mencionada de Golub, Heath & Wahba.

Isso significa que $0$ minimiza $V\left(\lambda\right)$ ?

Da mesma forma, Golub, Heath & Wahba definem a estimativa CV de $\lambda$ (p. 217) como o minimizador de

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

onde $\beta^{\left(k\right)}\left(\lambda\right)$ é a estimativa

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

de $\beta$ com o $k$ ésimo ponto de dados $y_i$ omitido.

Os autores atribuem a introdução da estimativa CV (também chamada de estimativa PRESS) a Allen ("Allen's PRESS", ibid.) No entanto, no artigo de Allen, a estimativa PRESS é definida (p. 126) como $n P\left(0\right)$ (no artigo de Efron, é definido como $P\left(0\right)$ (p. 24)).

Novamente, isso significa que $0$ minimiza $P\left(\lambda\right)$ ?

Allen, David M. A relação entre seleção de variáveis e documentação de dados e um método para previsão. Technometrics, vol. 16, nº 1 (fevereiro de 1974), pp. 125-127
Craven, Peter e Wahba, Grace. Suavização de dados ruidosos com funções de spline. Numerische Mathematik 31, (1979), pp. 377-403
Efron, Bradley. Quão tendenciosa é a taxa de erro aparente de uma regressão logística? Relatório técnico no. 232. Departamento de Estatística, Universidade de Stanford (abril de 1985)
Golub, Gene H., Heath e Grace Wahba. Validação cruzada generalizada como método para escolher um bom parâmetro de cume. Technometrics, vol. 21, No. 2 (maio de 1979), pp. 215-223

cross-validation

— Evan Aad
fonte

Você esqueceu de mencionar que isso será ajustado com regressão de crista e, pelo menos, quadrados? Eu estava totalmente confuso sobre o que foi até que eu vi os títulos de papel na parte inferior

λ

$\lambda$

— shadowtalker

Remova a validação cruzada generalizada no título e adicione regressão de cume no título. Aqui está o padrão do GridSearchCV () para RidgeCV ():

— HoofarLotusX

Eu acredito que os comentários estão apontando para a resposta, mas não afirmando isso sem rodeios. Então eu vou ser franco.

A fórmula V citada aqui é específica para a regressão linear de crista. Eles não dizem que é o mesmo que o PRESS, dizem que é uma versão do PRESS invariável à rotação. A parte "invariável à rotação" é o que torna isso generalizado.

O artigo de Efron é sobre regressão logística, personalizada para esse contexto. Se você quiser ver a tradução matemática entre os dois contextos, o livro certo para ler é Elements of Statistical Learning, 2ed, de Hastie, Tibshirani e Freedman. Eles oferecem esse livro gratuitamente, on-line: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . Outra leitura útil sobre o GCV é o Generalized Additive Models, de Simon Wood. Seu tratamento integra o GCV em geral com aplicações em regressão e regressão logística.

Se você olhar o livro de ESL, p 244, verá basicamente a mesma simbologia. Eles se referem àquele produto de matriz grande que você tem como matriz mais suave (eu diria que é uma matriz Hat ou primo próximo). Eles descrevem o suave como o mapeamento de para $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ pode ser usado para calcular deixar de fora um valor de CV, um para cada linha nos dados. Para modelos lineares , a matriz desempenha o papel da matriz Hat nos diagnósticos de regressão. No entanto, eles dizem que pode ser um desafio computacional ou desnecessário resolver isso, e a abordagem GCV é uma versão um pouco mais geral da mesma idéia. $S$

Eles oferecem uma fórmula para a aproximação do GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{Eu = 1}^{N} {[\frac{y_{Eu} - \hat{f} (x_{Eu})}{1 - t r uma c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

Esse comportamento é bastante semelhante ao da AIC em muitos modelos. O é o número efetivo de parâmetros. $trace{S}$

O peça você cita é mais geralmente um traço de . Até onde eu entendo, no resumo o GCV é uma versão aproximada de deixar de fora uma validação cruzada, mas em alguns casos (acredito que a regressão de cordilheira) é exata. Esse é um ponto principal no jornal Golub. $n\lambda$ $S$

Boa sorte, escreva de volta se você aprender mais.

— pauljohn32
fonte

Obrigado. Publiquei minha pergunta há mais de 5 anos e, desde então, esqueci a maior parte deste material, por isso não posso avaliar sua resposta para saber se ela é boa (o que parece ser) ou ruim e, por esse motivo Também não posso aceitar. Obrigado por postar, no entanto. Espero que seja útil para outras pessoas que possam encontrar esta página.

— Evan Aad