Qual é a diferença entre previsões "dentro da amostra" e "fora da amostra"?

Não entendo qual é exatamente a diferença entre a previsão "dentro da amostra" e "fora da amostra"? Uma previsão dentro da amostra utiliza um subconjunto dos dados disponíveis para prever valores fora do período de estimativa. Uma previsão fora da amostra usa todos os dados disponíveis. Estão corretos ?

Muito especificamente, a seguinte definição está correta?

Uma previsão dentro da amostra utiliza um subconjunto dos dados disponíveis para prever valores fora do período de estimativa e compará-los com os resultados conhecidos ou reais correspondentes. Isso é feito para avaliar a capacidade do modelo de prever valores conhecidos. Por exemplo, uma amostra dentro da previsão de 1980 a 2015 pode usar dados de 1980 a 2012 para estimar o modelo. Usando esse modelo, o previsor previa valores para 2013-2015 e comparava os valores previstos com os valores conhecidos reais. Uma previsão fora da amostra usa todos os dados disponíveis na amostra para estimar um modelo. Para o exemplo anterior, a estimativa seria realizada entre 1980 e 2015 e as previsões começariam em 2016.

Por "amostra", entende-se a amostra de dados que você está usando para se ajustar ao modelo.

Primeiro - você tem uma amostra
Segundo - você encaixa um modelo na amostra
Terceiro - você pode usar o modelo para prever

Se você está prevendo uma observação que fazia parte da amostra de dados - é uma previsão dentro da amostra.

Se você está prevendo uma observação que não fazia parte da amostra de dados - é uma previsão fora da amostra.

Portanto, a pergunta que você deve fazer é: a observação específica foi usada para o modelo ou não? Se ele foi usado para o ajuste do modelo, a previsão da observação é dentro da amostra. Caso contrário, está fora da amostra.

se você usar os dados 1990-2013 para ajustar-se ao modelo e prever para 2011-2013, é uma previsão dentro da amostra. mas se você usar apenas 1990-2010 para ajustar o modelo e prever 2011-2013, sua previsão fora da amostra.

Suponha que na sua amostra você tenha uma sequência de 10 pontos de dados. Esses dados podem ser divididos em duas partes - por exemplo, os primeiros 7 pontos de dados para estimar os parâmetros do modelo e os próximos 3 pontos de dados para testar o desempenho do modelo. Usando o modelo ajustado, as previsões feitas para os 7 primeiros pontos de dados serão chamadas de previsão dentro da amostra e as mesmas para os 3 últimos pontos de dados serão chamadas fora da previsão de amostra. É o mesmo que a ideia de dividir os dados em conjunto de treinamento e conjunto de validação.

A previsão dentro da amostra é o processo de avaliar formalmente os recursos preditivos dos modelos desenvolvidos usando os dados observados para verificar a eficácia dos algoritmos na reprodução dos dados. É semelhante a um conjunto de treinamento em um algoritmo de aprendizado de máquina e a amostra fora da amostra é semelhante ao conjunto de teste.

O diagrama abaixo ajudará você a entender o IN TIME e OUT OF TIME

Na Previsão de séries temporais, 'Insample' significa dados de trem 'Outsample' significa dados de teste

Nas séries temporais, primeiro podemos prever resultados para dados 'Insample' (ou seja, trem). Posteriormente, podemos prever os resultados para dados de 'amostra insuficiente' (ou seja, teste).

model = ARIMA(order = (p,d,q), seasonal_order=(P,D,Q,S))
model.fit(train_data)

train_predictions = model.predict_in_sample()
test_predictions = model.predict(n_periods=len(test_data.index))

predictions = pd.concatenate((train_predictions, test_predictions),axis=0)