Comparação de modelos entre um modelo ARIMA e um modelo de regressão

8

Estou realmente tendo problemas para descobrir como comparar o ARIMA e os modelos de regressão. Eu entendo como avaliar os modelos ARIMA um contra o outro e diferentes tipos de modelos de regressão (ou seja: regressão vs regressão dinâmica com erros de AR) um contra o outro, no entanto, não consigo ver muitos pontos em comum entre o modelo ARIMA e as métricas de avaliação do modelo de regressão.

As únicas duas métricas que eles compartilham é a SBC & AIC. A saída ARIMA não produz uma figura MSE raiz ou uma estatística r ^ 2. Não tenho certeza se a estimativa de erro padrão de um modelo ARIMA é diretamente equivalente (ou comparável) a qualquer coisa nas saídas de regressão.

Se alguém pudesse me apontar na direção certa, seria ótimo, pois estou realmente confuso aqui. Sinto que estou tentando comparar maçãs com laranjas.

Estou usando o SAS pela maneira de conduzir essa análise.

arima model-comparison dynamic-regression

— Brett
fonte

6

Se excluirmos os modelos ARIMAX, que são ARIMA com regressores, os modelos ARIMA e regressão são modelos com abordagens diferentes. O ARIMA tenta modelar a variável apenas com informações sobre os valores passados da mesma variável. Os modelos de regressão, por outro lado, modelam a variável com os valores de outras variáveis. Como essas abordagens são diferentes, é natural que os modelos não sejam diretamente comparáveis.

Por outro lado, como os dois modelos tentam modelar uma variável, ambos produzem os valores modelados dessa variável. Portanto, a questão da comparação de modelos é idêntica à comparação de valores modelados com valores reais. Para mais informações sobre como fazer isso, o sétimo capítulo de Elements of Statistical Learning, de Hastie et al. é uma leitura esclarecedora.

Atualização: Observe que não defendo a comparação apenas no ajuste da amostra, apenas que quando os modelos são diferentes, a maneira natural de comparar modelos é comparar suas saídas, desconsiderando como foram obtidas.

— mpiktas
fonte

1

"Por outro lado, como os dois modelos tentam modelar uma variável, ambos produzem os valores modelados dessa variável. Portanto, a questão da comparação de modelos é idêntica à comparação de valores modelados com valores reais". <--- Vou comparar o MSE dos valores modelados em comparação com os valores verdadeiros em uma parte fora da amostra dos dados. Parece o melhor para mim fazer isso.

— Brett

1

Você pode usar o MSE / AIC / BIC do modelo arima e compará-lo com o MSE / AIC / BIC do modelo de regressão. Apenas certifique-se de que o número de valores ajustados seja o mesmo, caso contrário você pode estar cometendo um erro. Por exemplo, se o modelo ARIMA possui uma estrutura de defasagem de sp + p (uma diferença sazonal da ordem sp e uma estrutura autorregressiva da ordem p, você perde os primeiros pontos de dados sp + p e apenas os valores NOB-SP-P são realmente adequados. Se o modelo de regressão não possui defasagens, você possui pontos ajustados NOB ou menos, dependendo da especificação dos valores defasados para as entradas.Portanto, é preciso perceber que os MSE podem não estar com os mesmos valores reais históricos. calcule o MSE do modelo de regressão nos últimos valores NOB-SP-P para colocar os modelos em pé de igualdade. Você pode querer GOOGLE " Para finalizar, normalmente, nunca se encaixaria um modelo de regressão com séries temporais, pois podem ser informações nos atrasos dos causais e nos atrasos da variável dependente justificando o STEP-UP da regressão para um modelo de função de transferência conhecido como modelo ARMAX. Se você não adotasse o STEP-UP, uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" Para finalizar, normalmente, nunca se encaixaria um modelo de regressão com séries temporais, pois podem ser informações nos atrasos dos causais e nos atrasos da variável dependente justificando o STEP-UP da regressão para um modelo de função de transferência conhecido como modelo ARMAX. Se você não adotasse o STEP-UP, uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" t STEP-UP, então uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" t STEP-UP, então uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares"

— IrishStat
fonte

3

Os valores AIC relatados também podem não ser comparáveis porque diferentes constantes são omitidas.

— precisa

1

A validação cruzada provavelmente seria boa aqui. Para fazer isso, você divide seu conjunto de dados em 2 partes. Você usa a primeira parte para ajustar os dois modelos e, em seguida, usa o modelo ajustado para prever a segunda parte. Isso pode ser justificado como uma aproximação a uma abordagem totalmente bayesiana da seleção de modelos. Temos a probabilidade de um modelo $M_{i}$

p (d_{1} d_{2} . . . d_{N} | M_{Eu} Eu) = p (d_{1} | M_{Eu} Eu) \times p (d_{2} | d_{1} M_{Eu} Eu) \times p (d_{3} | d_{1} d_{2} M_{Eu} Eu) \times . .

$p(d_{1}d_{2}...d_{N}|M_{i}I)=p(d_{1}|M_{i}I)\times p(d_{2}|d_{1}M_{i}I)\times p(d_{3}|d_{1}d_{2}M_{i}I)\times..$

. . \times p (d_{N} | d_{1} d_{2} . . . d_{N - 1} M_{Eu} Eu)

$..\times p(d_{N}|d_{1}d_{2}...d_{N-1}M_{i}I)$

O que pode ser visto heuristicamente como uma sequência de previsões e depois de aprender com os erros. Você prevê o primeiro ponto de dados sem treinamento. Em seguida, você prediz o segundo ponto de dados depois de aprender sobre o modelo com o primeiro. Em seguida, você prediz o terceiro ponto de dados após usar os dois primeiros para aprender sobre o modelo e assim por diante. Agora, se você tiver um conjunto de dados suficientemente grande, os parâmetros do modelo se tornarão bem determinados além de uma certa quantidade de dados, e teremos, por algum valor $k$ :

p (d_{k + 2} | d_{1} . . . . d_{k} d_{k + 1} M_{Eu} Eu) \approx p (d_{k + 2} | d_{1} . . . . d_{k} M_{Eu} Eu)

$p(d_{k+2}|d_{1}....d_{k}d_{k+1}M_{i}I)\approx p(d_{k+2}|d_{1}....d_{k}M_{i}I)$

O modelo não pode "aprender" mais sobre os parâmetros e basicamente está apenas prevendo com base no primeiro $k$ observações. Então eu escolheria $k$ (o tamanho do primeiro grupo) seja grande o suficiente para que você possa ajustar com precisão o modelo, $20$ - $30$ pontos de dados por parâmetro provavelmente são suficientes. Você também quer escolher $k$ grande o suficiente para que a dependência no $d_{k+1}...d_{N}$ que está sendo ignorado não torna a aproximação inútil.

Então, eu simplesmente avaliaria as probabilidades de cada previsão e pegaria sua razão, interpretada como uma razão de probabilidade. Se a proporção é de cerca de $1$ , nenhum dos modelos é particularmente melhor que o outro. Se estiver longe de $1$ isso indica que um dos modelos está superando o outro. uma proporção abaixo de 5 é fraca, 10 é forte, 20 muito forte e 100, decisiva (correspondente recíproco para pequenos números).

— probabilityislogic
fonte