Validação cruzada para dados de séries temporais com regressão

Eu estou familiarizado com a validação cruzada "regular", mas agora quero fazer previsões de séries temporais enquanto estiver usando a validação cruzada com uma função de regressão linear simples. Escrevo um exemplo simples, para ajudar a esclarecer minhas duas perguntas: uma sobre a divisão trem / teste, uma pergunta sobre como treinar / testar modelos quando o objetivo é prever para n diferente, com n as etapas de previsão, em avançar.

(1) os dados

Suponha que eu tenha dados para os pontos no tempo 1, ..., 10 da seguinte maneira:

timeseries = [0.5,0.3,10,4,5,6,1,0.4,0.1,0.9]

(2) Transformando os dados em um formato útil para aprendizado supervisionado

Pelo que entendi, podemos usar "atrasos", ou seja, alterações nos dados para criar um conjunto de dados adequado para o aprendizado supervisionado:

input = [NaN,0.5,0.3,10,4,5,6,1,0.4,0.1]
output/response = [0.5,0.3,10,4,5,6,1,0.4,0.1,0.9]

Aqui, eu simplesmente mudei as séries temporais por uma para criar o vetor de saída. Pelo que entendi, agora eu poderia usar a entrada como entrada para um modelo de regressão linear e a saída para a resposta (o NaN poderia ser aproximado ou substituído por um valor aleatório).

(3) Pergunta 1: validação cruzada ("backtesting")

Digamos que eu queira fazer agora duas divisões, preciso mudar o trem e os conjuntos de testes?

Ou seja, algo como:

Conjunto de trem:

Variável independente: [NaN, 0,5,0,3,10,4,5]

Variável de saída / resposta: [0.5,0.3,10,4,5,6]

Conjunto de teste:

Variável independente: [1,0.4,0.1]

Variável de saída / resposta: [0.4,0.1,0.9]

(ii) Questão 2: Prevendo diferentes atrasos com antecedência :

Como óbvio, mudei de dependente para variáveis independentes por 1. Supondo agora que gostaria de treinar um modelo que possa prever cinco etapas de tempo de antecedência - posso manter esse atraso de um e, no entanto, usar o modelo para prever n + 1 , ..., n + 5, ... ou altero a mudança da variável independente para a variável dependente para 5? Qual é exatamente a diferença?

— Ferdi
fonte

Tradicionalmente, você validaria cruzadamente modelos de séries temporais usando uma janela contínua na amostra. Mais recentemente, porém, outras abordagens também foram desenvolvidas; consulte a publicação no blog de Rob J. Hyndman "Validação cruzada para séries temporais" . A propósito, sua pergunta pode ser uma duplicata de uma das perguntas anteriores sobre validação cruzada de séries temporais - veja estas .

— Richard Hardy

Eu entendo isso, mas a janela de rolamento é usado em ambos A e B. A minha pergunta é sim, se eu precisaria de trem e conjuntos de testes e de entrada e uma (deslocado) vetor de saída

Eu não acho que a minha pergunta é uma duplicata - pelo menos eu não encontrar a resposta para a minha pergunta ainda

Para a primeira pergunta, como aponta Richard Hardy, há uma excelente postagem no blog sobre o assunto. Há também este post e este post que eu achei muito útil.

Para a segunda pergunta, é necessário levar em consideração as duas abordagens básicas da previsão de séries temporais de várias etapas: Previsão recursiva e previsão direta:

Na previsão recursiva (também chamada de previsão iterada), você treina seu modelo apenas para previsões um passo à frente. Após a conclusão do treinamento, você aplica seu modelo final recursivamente para prever 1 passo à frente, 2 passos à frente, etc ... até atingir o horizonte de previsão de passos desejado . Para fazer isso, você alimenta a previsão de cada etapa sucessiva novamente no modelo para gerar a próxima etapa. Essa abordagem é usada por algoritmos tradicionais de previsão, como os algoritmos ARIMA e Exponential Smoothing, e também pode ser usada para previsão baseada em Machine Learning (consulte esta publicação para obter um exemplo e esta publicação para algumas discussões). $n$
A previsão direta é quando você treina um modelo separado para cada etapa (para tentar "diretamente" prever o passo à frente, em vez de atingir passos recursivamente. Consulte Ben Taied et al. Para obter uma discussão sobre previsão direta e mais abordagens combinadas complexas. $n^{th}$ $n$

Observe que o post de Hyndman no blog sobre validação cruzada para séries temporais abrange um passo à frente e a previsão direta.

Para esclarecer a previsão recursiva (com base nos comentários):

Primeiro você treina seu modelo.
Depois que o treinamento é concluído, você toma para calcular (esta é sua previsão de um passo à frente), $[Y_1, Y_2,....Y_t]$ $\hat{Y}_{t+1}$
então você usa para calcular , em seguida, para calcular e assim por diante ... até chegar a . $[Y_2,..., Y_t,\hat{Y}_{t+1}]$ $\hat{Y}_{t+2}$ $[Y_3,..., Y_t,\hat{Y}_{t+1}, \hat{Y}_{t+2}]$ $\hat{Y}_{t+3}$ $\hat{Y}_{t+n}$

(Aqui são valores reais e são valores de previsão.) $Y$ $\hat{Y}$

— Skander H.
fonte

Obrigado, também pelos links! Ainda há algumas perguntas: (1) Se eu entendi, a previsão iterativa é lag n = 1, enquanto a previsão direta é lag n> 1. Isso está correto? Na prática, quando estou treinando / testando meu modelo, isso determina quanto tenho que mudar em um problema supervisionado da série cronológica (por exemplo, se eu quiser fazer uma previsão em 5 etapas à frente, utilizarei os carimbos de data e hora t-5 para prever t)? (2) Você mencionou o uso das previsões para atualizar iterativamente o modelo, acho que deve ser o caso de lag n = 1, n> 5. No entanto, depois de aplicar o modelo, presumo que dados reais possam ser usados?

@TestGuest "(1) Se eu entendi, a previsão iterativa é lag n = 1, enquanto a previsão direta é lag n> 1. Isso está correto? Praticamente, quando estou treinando / testando meu modelo, isso determina quanto eu tenho para mudar um problema supervisionado da série temporal (por exemplo, se eu quiser dar um passo em frente na previsão de 5 passos, uso os carimbos de data / hora t-5 para prever t)? " - sim correto .

— Skander H.

@TestGuest "(2) Você mencionou o uso das previsões para atualizar iterativamente o modelo, acho que esse deve ser o caso de lag n = 1, n> 5. No entanto, depois de aplicar o modelo, presumo que dados reais possam ser usados ? " - ** Não exatamente. O modelo já foi treinado neste caso e não precisa mais ser atualizado. Você está aplicando um modelo já treinou - você está simplesmente alimentando as saídas do modelo de volta em forma recursiva ... [continua]

— Skander H.

Então primeiro você

[Y_{1}, Y_{2}, . . . . Y_{t}]

$[Y_1, Y_2,....Y_t]$ calcular

{\hat{Y}}_{t + 1}

$\hat{Y}_{t+1}$ (esta é sua previsão de um passo à frente), então você usa

[Y_{2}, . . ., Y_{t}, {\hat{Y}}_{t + 1}]

$[Y_2,..., Y_t,\hat{Y}_{t+1}]$ calcular

{\hat{Y}}_{t + 2}

$\hat{Y}_{t+2}$ , então

[Y_{3}, . . ., Y_{t}, {\hat{Y}}_{t + 1}, {\hat{Y}}_{t + 2}]

$[Y_3,..., Y_t,\hat{Y}_{t+1}, \hat{Y}_{t+2}]$ calcular

{\hat{Y}}_{t + 3}

$\hat{Y}_{t+3}$ e assim sucessivamente até chegar

{\hat{Y}}_{t + n}

$\hat{Y}_{t+n}$ (Aqui

Y

$Y$ são valores reais e

\hat{Y}

$\hat{Y}$ são valores de previsão.

— Skander H.

Obrigado! Parece-me, no entanto, estranho não substituir as previsões por valores reais, assim que estiverem disponíveis - se o objetivo é obter os melhores resultados possíveis. Então porque é isso? Obrigado novamente ..