Como comparar os métodos de previsão?

Eu tenho vários dados intermitentes. Com base nesses dados, eu gostaria de comparar vários métodos de previsão (Suavização exponencial, Média móvel, Croston e Syntetos-Boylan) e decidir se Croston ou Syntetos Boylan é melhor que SES ou MA para dados intermitentes ou não. A medida que eu gostaria de comparar é a taxa absoluta média ou a taxa quadrática média proposta por Kourentzes (2014) em vez da medida MAPE, MSE usual, em todos os níveis do parâmetro de suavização \ alpha $, assumindo que o parâmetro de suavização usado para o intervalo entre demandas e o tamanho da demanda em Croston e Syntetos boylan é o mesmo.

Minha pergunta é: 1. Considerando que para todos os dados, existe a possibilidade de que o valor de alfa ideal seja diferente para cada método de suavização; portanto, um valor de alfa em um método pode minimizar o MAR ou MSR e não em outro método , de modo que um método possa ser melhor que outro método para esse valor de alfa e não em outro método. Como alguém resolve esse tipo de problema? minha solução atual é comparar os dois gráficos do MAR para cada nível de alfa entre dois métodos diferentes. minha expectativa é que os dois métodos diferentes mostrem características diferentes quando a análise de perfil for concluída.

Existe alguma solução melhor, como projeto experimental? Estou bastante confuso em como projetar os experimentos. a observação são esses vários dados, o nível está suavizando o parâmetro alfa, o tratamento é esses métodos. e o valor é o MAR. é viável? e lógico para fazer? A hipótese é se existem diferenças em cada tratamento em todos os níveis de alfa ou não. e duvido que a suposição de linearidade seja cumprida aqui.

Edit: Enfim, eu não acho que isso é viável como questão de pesquisa. O fato de a medida de erro depender da escala (se minha definição de dependente da escala estiver correta) tornou o estudo desse problema bastante problemático, pois não há como comparar os diferentes métodos de previsão.

— Fikri
fonte

você considerou fora da amostra / realizou testes de suas previsões de diferentes métodos de previsão?

— forecaster

Não sei se há algum significado para reter dados de amostra no método Croston. até onde eu sei, as previsões de croston e syntetos boylan precisavam ser avaliadas toda vez que havia uma demanda. portanto, avaliar a previsão mantendo dados de amostra parece estranho para mim.

— Fikri

Sim, você pode usar dados retidos para dados intermitentes. Essa é a única maneira de ter certeza se os parâmetros do seu modelo são confiáveis. Se você tiver dados pequenos, eu usaria a validação cruzada ou o methos da faca de jack. Neste artigo, os autores compararam métodos de previsão usando dados de inicialização e teste (espera) para previsão intermitente e o método Croston é um deles.

— forecaster

Você pesquisou no Google "comparação de previsões"? Há um monte de investigação neste domínio em econometria, pelo menos desde 1980

— Aksakal

Modelo: $y_{t+1}=f(y_{0},\ldots,y_{t}, \overrightarrow{a})+\epsilon_{t}$

$\overrightarrow{a}$ é um vetor de parâmetros do modelo

O que você está propondo atualmente é essencialmente:

Para cada modelo use algum tipo de Mínimos Quadrados / NLS para ajustar um modelo (encontre ) $f(y_{0},\ldots,y_{t}, \overrightarrow{a})$ $\overrightarrow{a}$
Escolha um valor $\alpha$
Use alguma função para avaliar os modelos. $g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$
Se o modelo ideal depende principalmente de então ???? $\alpha$

Você pode fazer amostragem endógena? caso, que tal estimar diretamente as funções ótimas (maximização de correção) diretamente para vários valores de . Você pode pegar os modelos e executá-los em paralelo, fazendo uma família de previsões. Você poderia aumentar a probabilidade de amostragem quando os modelos discordassem particularmente de suas previsões. Isso aumentaria a informatividade da amostragem limitada na distinção entre modelos. $g(f(y_{0},\ldots,y_{t}, \overrightarrow{a}),\alpha)$ $\alpha$

— BKay
fonte