Previsão de séries temporais com periodicidade diária, semanal e anual

Edição principal: Gostaria de agradecer muito a Dave e Nick por suas respostas. A boa notícia é que consegui fazer o loop funcionar (princípio emprestado da publicação do Prof. Hydnman na previsão de lotes). Para consolidar as consultas pendentes:

a) Como aumento o número máximo de iterações para auto.arima - parece que, com um grande número de variáveis ​​exógenas, o auto.arima está atingindo o máximo de iterações antes de convergir para um modelo final. Por favor, corrija-me se estou entendendo errado.

b) Uma resposta, de Nick, destaca que minhas previsões para intervalos horários são derivadas apenas desses intervalos horários e não são influenciadas por ocorrências no início do dia. Meus instintos, ao lidar com esses dados, dizem que isso não costuma causar um problema significativo, mas estou aberto a sugestões sobre como lidar com isso.

c) Dave apontou que eu preciso de uma abordagem muito mais sofisticada para identificar os tempos de lead / lag em torno das minhas variáveis ​​preditoras. Alguém tem alguma experiência com uma abordagem programática para isso em R? É claro que espero que haja limitações, mas gostaria de levar esse projeto o mais longe possível, e não duvido que isso deva ser útil para outras pessoas aqui.

d) Nova consulta, mas totalmente relacionada à tarefa em questão - o auto.arima considera os regressores ao selecionar pedidos?

Estou tentando prever visitas a uma loja. Exijo a capacidade de dar conta de férias em movimento, anos bissextos e eventos esporádicos (essencialmente extremos); com base nisso, entendo que o ARIMAX é minha melhor aposta, usando variáveis ​​exógenas para tentar modelar a sazonalidade múltipla e os fatores mencionados acima.

Os dados são gravados 24 horas em intervalos de hora em hora. Isso está provando ser problemático devido à quantidade de zeros nos meus dados, especialmente em horários do dia que apresentam volumes muito baixos de visitas, às vezes nenhum quando a loja acaba de abrir. Além disso, o horário de funcionamento é relativamente irregular.

Além disso, o tempo computacional é enorme ao prever como uma série temporal completa com mais de 3 anos de dados históricos. Imaginei que seria mais rápido computando cada hora do dia como séries temporais separadas, e ao testá-lo em horários mais movimentados do dia parece produzir uma precisão mais alta, mas novamente prova ser um problema nas primeiras / mais tarde horas que não t receber visitas constantemente. Acredito que o processo se beneficiaria do uso do auto.arima, mas ele não parece convergir para um modelo antes de atingir o número máximo de iterações (portanto, usando um ajuste manual e a cláusula maxit).

Tentei manipular dados 'ausentes' criando uma variável exógena para quando visitas = 0. Novamente, isso funciona muito bem para horários mais movimentados do dia, quando o único momento em que não há visitas é quando a loja está fechada para o dia; nesses casos, a variável exógena parece lidar com isso com êxito na previsão e não inclui o efeito do dia anterior ao fechamento. No entanto, não tenho certeza de como usar esse princípio para prever as horas mais tranquilas em que a loja está aberta, mas nem sempre recebe visitas.

Com a ajuda do post do professor Hyndman sobre a previsão de lotes no R, estou tentando configurar um loop para prever a série 24, mas parece que não quero prever a partir das 13h e não consigo descobrir o porquê. Eu recebo "Erro no otim (init [máscara], armafn, método = optim.method, hessian = TRUE,: valor finito de diferença finita não finita [1]" ", mas como todas as séries são de igual comprimento e eu estou essencialmente usando a mesma matriz, não entendo por que isso está acontecendo, o que significa que a matriz não é de classificação completa, não? Como posso evitar isso nessa abordagem?

https://www.dropbox.com/s/26ov3xp4ayig4ws/Data.zip

date()

#Read input files
INPUT <- read.csv("Input.csv")
XREGFDATA <- read.csv("xreg.csv")

#Subset time series data from the input file
TS <- ts(INPUT[,2:25], f=7)


fcast <- matrix(0, nrow=nrow(XREGFDATA),ncol=ncol(TS))

#Create matrix of exogenous variables for forecasting.
xregf <- (cbind(Weekday=model.matrix(~as.factor(XREGFDATA$WEEKDAY)),
                    Month=model.matrix(~as.factor(XREGFDATA$MONTH)),
                Week=model.matrix(~as.factor(XREGFDATA$WEEK)),
                    Nodata=XREGFDATA$NoData,
                NewYearsDay=XREGFDATA$NewYearsDay,
                    GoodFriday=XREGFDATA$GoodFriday,
                EasterWeekend=XREGFDATA$EasterWeekend,
                    EasterMonday=XREGFDATA$EasterMonday,
                MayDay=XREGFDATA$MayDay,
                    SpringBH=XREGFDATA$SpringBH,
                SummerBH=XREGFDATA$SummerBH,
                    Christmas=XREGFDATA$Christmas,
                BoxingDay=XREGFDATA$BoxingDay))
#Remove intercepts
xregf <- xregf[,c(-1,-8,-20)]

NoFcast <- 0

for(i in 1:24) {

  if(max(INPUT[,i+1])>0) {

  #The exogenous variables used to fit are the same for all series except for the
  #'Nodata' variable. This is to handle missing data for each series
   xreg <- (cbind(Weekday=model.matrix(~as.factor(INPUT$WEEKDAY)),
                     Month=model.matrix(~as.factor(INPUT$MONTH)),
                 Week=model.matrix(~as.factor(INPUT$WEEK)),
                     Nodata=ifelse(INPUT[,i+1] < 1,1,0),
                     NewYearsDay=INPUT$NewYearsDay,
                 GoodFriday=INPUT$GoodFriday,
                     EasterWeekend=INPUT$EasterWeekend,
                 EasterMonday=INPUT$EasterMonday,
                     MayDay=INPUT$MayDay,
                 SpringBH=INPUT$SpringBH,
                     SummerBH=INPUT$SummerBH,
                 Christmas=INPUT$Christmas,
                     BoxingDay=INPUT$BoxingDay))
  xreg <- xreg[,c(-1,-8,-20)]

  ARIMAXfit <- Arima(TS[,i], 
                     order=c(0,1,8), seasonal=c(0,1,0),
                     include.drift=TRUE,
                     xreg=xreg,
                     lambda=BoxCox.lambda(TS[,i])
                     ,optim.control = list(maxit=1500), method="ML")  


  fcast[,i] <- forecast(ARIMAXfit, xreg=xregf)$mean

 } else{
  NoFcast <- NoFcast +1
 }
}

#Save the forecasts to .csv
write(t(fcast),file="fcasts.csv",sep=",",ncol=ncol(fcast))


date()

Eu apreciaria totalmente as críticas construtivas da maneira como estou lidando com isso e qualquer ajuda para fazer esse script funcionar. Estou ciente de que há outro software disponível, mas estou estritamente limitado ao uso de R e / ou SPSS aqui ...

Além disso, sou muito novato nesses fóruns - tentei fornecer uma explicação o mais completa possível, demonstrar as pesquisas anteriores que fiz e também fornecer um exemplo reproduzível; Espero que isso seja suficiente, mas informe-me se houver mais alguma coisa que eu possa fornecer para melhorar minha postagem.

EDIT: Nick sugeriu que eu use totais diários primeiro. Devo acrescentar que testei isso e as variáveis ​​exógenas produzem previsões que capturam sazonalidade diária, semanal e anual. Esse foi um dos outros motivos que pensei em prever a cada hora como uma série separada, mas, como Nick também mencionou, minha previsão para as 16h em um determinado dia não será influenciada pelas horas anteriores.

EDIT: 09/08/13, o problema com o loop estava simplesmente relacionado às ordens originais que eu havia usado para testar. Eu deveria ter percebido isso mais cedo e coloca mais urgência em tentar auto.arima para trabalhar com esses dados - veja os itens a) ed) acima.

Infelizmente, sua missão está fadada ao fracasso, pois você está restrito ao R e ao SPSS. Você precisa identificar a estrutura de relacionamento de lead e lag para cada um dos eventos / feriados / variáveis ​​exógenas que podem entrar em jogo. Você precisa detectar possíveis tendências de tempo que o SPSS não pode executar. É necessário incorporar tendências / previsões diárias em cada uma das previsões horárias para fornecer uma previsão reconciliada consolidada. Você precisa se preocupar com a alteração de parâmetros e a variação de variação. Espero que isto ajude. Temos modelado esse tipo de dados há anos de maneira automática, sujeita a controles opcionais especificados pelo usuário.

EDIT: Conforme solicitado pelo OP, apresento aqui uma análise típica. Eu levei um se as horas mais ocupadas e desenvolvi um modelo diário. Em uma análise completa, todas as 24 horas seriam desenvolvidas e também um modelo diário para conciliar as previsões. A seguir, é apresentada uma lista parcial do modelo . Além dos regressores significativos (observe que a estrutura real de avanço e atraso foi omitida), havia indicadores refletindo a sazonalidade, as mudanças de nível, os efeitos diários, as mudanças nos efeitos diários e os valores incomuns que não são consistentes com a história. As estatísticas do modelo são . Um gráfico das previsões para os próximos 360 dias é mostrado aqui . O gráfico Real / Ajustado / Previsão resume claramente os resultados.Quando confrontados com um problema tremendamente complexo (como este!), É preciso mostrar com muita coragem, experiência e recursos de produtividade do computador. Apenas informe à gerência que o problema é solucionável, mas não necessariamente, usando ferramentas primitivas. Espero que isso lhe incentive a continuar seus esforços, pois seus comentários anteriores foram muito profissionais, voltados para o enriquecimento pessoal e o aprendizado. Eu acrescentaria que é preciso conhecer o valor esperado dessa análise e usá-lo como orientação ao considerar software adicional. Talvez você precise de uma voz mais alta para ajudar a direcionar seus "diretores" para uma solução viável para essa tarefa desafiadora.

Depois de revisar os totais diários e cada um dos modelos de 24 horas, eu definitivamente refletiria que o número de visitas está em uma séria queda! Esse tipo de análise por um potencial comprador sugeriria uma não compra, enquanto um vendedor seria sábio para redobrar seus esforços para vender o negócio com base nessa projeção muito negativa.

Isso não passa de um pacote de comentários, mas será muito longo para esse formato. Não sou mais que um amador de séries temporais, mas tenho algumas sugestões simples.

1. Você pode estar sob ordens aqui, mas acho que isso precisa ser aprimorado em termos do que você espera alcançar e do que é mais importante para você. A previsão de visitas é, infelizmente, uma meta difusa. Por exemplo, suponha que sejam 16:00 e você deseja prever visitas com uma hora de antecedência. Você realmente precisa de um supermodelo incorporando um tratamento de toda a série anterior? Isso deve resultar de alguma consideração dos objetivos práticos e / ou científicos reais, que podem ser estipulados por seus superiores ou por um cliente ou podem ser seus próprios como pesquisador. Eu suspeito que é mais provável que modelos diferentes sejam necessários para diferentes propósitos.

2. A separação das séries horárias parece ser motivada pela idéia de reduzir o cálculo sem considerar muito o quanto faz sentido. Portanto, a implicação é que você não (não) usará as informações do início de hoje para prever o que está acontecendo às 16h, apenas todas as observações anteriores às 16h? Parece-me que precisa de muita conversa.

3. Você é evidentemente um aprendiz de séries temporais (e estou me colocando no mesmo nível), mas nenhum aprendiz deve começar com um problema desse tamanho. Sério! Você tem muitos dados, periodicidade em várias escalas, irregularidades no horário de funcionamento e feriados, variáveis ​​exógenas: escolheu um problema muito difícil. (E também sobre tendências?) É fácil dizer, mas evidentemente já passou por você até agora: talvez você precise trabalhar em versões muito simplificadas do problema primeiro e ter uma ideia de como ajustar modelos mais simples. Jogar tudo para um grande modelo complicado evidentemente não está funcionando bem, e algo radicalmente mais simples parece necessário, ou uma percepção de que o projeto é possivelmente muito ambicioso.