RMSE normalizado

Eu tenho várias séries temporais em um VAR (1) e, como algumas delas não têm a mesma unidade de medida, eu gostaria de estimar o RMSE em porcentagem. Sei que isso poderia ser feito de várias maneiras (veja abaixo), mas não sei exatamente qual é a que melhor se adapta a um problema de avaliação de previsão. Eu espero que você possa me ajudar.

Exemplos de RMSE normalizado:

R M S E_{1} = \sqrt{\frac{1}{n} \sum_{i} {(\frac{Y_{f o r e c a s t_{i}} - Y_{i}}{Y_{i}})}^{2}} R M S E_{2} = \sqrt{\frac{1}{n} \sum_{i} {(\frac{Y_{f o r e c a s t_{i}} - Y_{i}}{Y_{f o r e c a s t_{i}}})}^{2}} R M S E_{3} = \frac{\sqrt{\frac{1}{n} \sum_{i} {(Y_{f o r e c a s t_{i}} - Y_{i})}^{2}}}{m e a n (Y)}

$RMSE_1 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_i}\right)^2} \\ RMSE_2 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_{forecast_i}}\right)^2} \\ RMSE_3 = \frac{\sqrt{\frac{1}{n}\sum_i\left(Y_{forecast_i}-Y_i\right)^2}}{mean(Y)}$

time-series mse rms

Respostas:

Você também tem outras opções que são comumente usadas nesses casos, por exemplo, erro absoluto relativo

RAE = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\text{RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

erro quadrático relativo da raiz

RRSE = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\text{RRSE} = \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

erro percentual absoluto médio

MAPE = \frac{1}{N} \sum_{i = 1}^{N} | \frac{θ_{i} - {\hat{θ}}_{i}}{θ_{i}} |

$\text{MAPE} = \frac{1}{N} \sum^N_{i=1} \left| \frac{\theta_i - \hat{\theta}_i}{\theta_i} \right|$

onde é o valor verdadeiro, é a previsão e é a média de (consulte também https://www.otexts.org/fpp/2/5 ). $\theta$ $\hat \theta$ $\overline{\theta}$ $\theta$

— Tim
fonte

ao implementar o RAE ou o RRSE, você pode recomendar uma maneira razoável de evitar inf? Pensei em usar mean, em vez de sume máximo denominador com um epsilonvalor

— ihadanny

@ihadanny Por que você vê valores inf?

— Tim

quando são constantes o denominador é 0

θ

$\theta$

— ihadanny

@ihadanny, então a medida de erro não faz sentido.

— Tim

Uma maneira possível seria normalizar o RMSE com o desvio padrão de : $Y$

$NRMSE = \frac{RMSE}{\sigma(Y)}$

Se este valor for maior que 1, você obter um modelo melhor, simplesmente gerando uma série de tempo aleatório da mesma média e desvio padrão como . $Y$

— Fabzi
fonte