Diferença entre previsões "dentro da amostra" e "pseudo fora da amostra"

Existe uma diferença explícita entre previsões dentro da amostra e previsões pseudo fora da amostra . Ambos se destinam ao contexto de avaliação e comparação de modelos de previsão.

$\{Y_t,X_{t-h}\}_{t=h+1}^T$$h \in \{1,2,\ldots\},$$\hat f(X_{t-h})$$Y_t$$X_{t-h}$$T$

$T$e compare os valores ajustados do modelo com as realizações reais. No entanto, esse procedimento é conhecido por desenhar uma imagem excessivamente otimista da capacidade de previsão do modelo, uma vez que algoritmos comuns de ajuste (por exemplo, usando critérios de erro ao quadrado ou de probabilidade) tendem a se esforçar para evitar grandes erros de previsão e, portanto, são suscetíveis de sobreajuste - ruído incorreto para sinal nos dados.

Uma verdadeira análise fora da amostra seria estimar o modelo com base nos dados até hoje, e construir uma previsão do valor de amanhã $Y_{T+1}$, aguarde até amanhã, registre o erro de previsão $e_{T+1} \equiv Y_{T+1} - \hat f(X_{T+1-h}),$ re-estimate the model, make a new forecast of $Y_{T+2}$, and so forth. At the end of this exercise, one would have a sample of forecast errors $\{e_{T+l}\}_{l=1}^L$ which would be truly out-of-sample and would give a very realistic picture of the model's performance.

Since this procedure is very time-consuming, people often resort to "pseudo", or "simulated", out-of-sample analysis, which means to mimic the procedure described in the last paragraph, using some historical date $T_0 < T$, rather than today's date $T$, as a starting point. The resulting forecasting errors $\{e_t\}_{t=T_0+1}^T$ are then used to get an estimate of the model's out-of-sample forecasting ability.

Note that pseudo-out-of-sample analysis is not the only way to estimate a model's out-of-sample performance. Alternatives include cross-validation and information criteria.

A very good discussion of all these issues is provided in Chapter 7 of

http://www.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf