Por que usar uma certa medida de erro de previsão (por exemplo, MAD) em oposição a outra (por exemplo, MSE)?

MAD = Desvio Absoluto Médio MSE = Erro Quadrático Médio

Vi sugestões de vários lugares em que o MSE é usado, apesar de algumas qualidades indesejáveis ​​(por exemplo , http://www.stat.nus.edu.sg/~staxyc/T12.pdf , que afirma na p8 "Acredita-se que MAD é um critério melhor que o MSE. No entanto, matematicamente o MSE é mais conveniente que o MAD. ")

Existe mais do que isso? Existe um artigo que analise minuciosamente as situações nas quais vários métodos de medir o erro de previsão são mais / menos apropriados? Minhas pesquisas no Google não revelaram nada.

Uma pergunta semelhante a essa foi feita em /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde , e o usuário foi solicitado a postar em stats.stackexchange.com, mas acho que nunca.

Para decidir qual medida de erro de previsão pontual usar, precisamos dar um passo atrás. Observe que não conhecemos o resultado futuro perfeitamente, nem jamais saberemos. Portanto, o resultado futuro segue uma distribuição de probabilidade . Alguns métodos de previsão produzem explicitamente uma distribuição completa, e outros não - mas estão sempre lá, mesmo que implicitamente.

Agora, queremos ter uma boa medida de erro para uma previsão de pontos . Tal previsão pontual $F_t$ é nossa tentativa de resumir o que sabemos sobre a distribuição futura (isto é, a distribuição preditiva) no tempo $t$ usando um único número, a chamada funcionalidade da densidade futura. A medida de erro, então, é uma maneira de avaliar a qualidade desse resumo de número único.

Portanto, você deve escolher uma medida de erro que recompense "bons" resumos de um número de densidades futuras (desconhecidas, possivelmente previstas, mas possivelmente implícitas).

O desafio é que diferentes medidas de erro sejam minimizadas por diferentes funcionais. O MSE esperado é minimizado pelo valor esperado da distribuição futura. O MAD esperado é minimizado pela mediana da distribuição futura. Portanto, se você calibrar suas previsões para minimizar o MAE, sua previsão pontual será a mediana futura, não o valor esperado futuro, e suas previsões serão tendenciosas se sua distribuição futura não for simétrica.

Isso é mais relevante para dados de contagem, que normalmente são distorcidos. Em casos extremos (digamos, Poisson distribuiu vendas com uma média abaixo do $\log 2\approx 0.69$ ), seu MAE será mais baixo para uma previsão de zero plana. Veja aqui ou aqui ou aqui para detalhes.

Fornecemos mais informações e uma ilustração em Quais são as deficiências do Erro Médio Percentual Absoluto (MAPE)? Esse encadeamento considera o mape , mas também outras medidas de erro, e contém links para outros encadeamentos relacionados.

No final, qual medida de erro a ser usada realmente depende do seu erro de custo de previsão, ou seja, que tipo de erro é mais doloroso. Sem considerar as implicações reais dos erros de previsão, qualquer discussão sobre "melhores critérios" é basicamente sem sentido.

As medidas de precisão das previsões foram um tópico importante na comunidade de previsões há alguns anos e ainda aparecem de vez em quando. Um artigo muito bom para analisar é Hyndman & Koehler "Outro exame sobre as medidas de precisão das previsões" (2006).

Finalmente, uma alternativa é calcular densidades preditivas completas e avaliá-las usando regras de pontuação adequadas .

As vantagens de usar o MAE em vez do MSE são explicadas em Davydenko e Fildes (2016) , consulte a Seção 3.1:

... Alguns autores (por exemplo, Zellner, 1986) argumentam que o critério pelo qual avaliamos as previsões deve corresponder ao critério pelo qual otimizamos as previsões. Em outras palavras, se otimizarmos estimativas usando alguma função de perda fornecida, devemos usar a mesma função de perda para avaliação empírica, a fim de descobrir qual modelo é melhor.

Ajustar um modelo estatístico geralmente fornece previsões ideais sob perda quadrática. Isso acontece, por exemplo, quando ajustamos uma regressão linear. Se nossa previsão de densidade da modelagem estatística é simétrica, as previsões ideais sob perda quadrática também são ideais sob perda linear. Mas, se estabilizarmos a variação por transformações logarítmicas e depois transformarmos as previsões reversas por exponenciação, obteremos as previsões ideais apenas sob perda linear. Se usarmos outra perda, primeiro precisamos obter a previsão de densidade usando um modelo estatístico e depois ajustar nossa estimativa, de acordo com nossa função de perda específica (veja exemplos de como fazer isso em Goodwin, 2000).

Vamos supor que queremos comparar empiricamente dois métodos e descobrir qual método é melhor em termos de perda linear simétrica (já que esse tipo de perda é comumente usado na modelagem). Se tivermos apenas uma série temporal, parece natural usar um erro absoluto médio (MAE). Além disso, o MAE é atraente, pois é simples de entender e calcular (Hyndman, 2006) ...

Referências

Davydenko, A., & Fildes, R. (2016). Medidas de erro de previsão: revisão crítica e recomendações práticas. Em Previsão de Negócios: Problemas Práticos e Soluções. John Wiley & Filhos

$RMSE = \sqrt{MSE}$$MAE = MAD$

Na realidade,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

($MAE \leq RMSE \leq \sqrt{MAE}$ for classification with partial class memberships $y_i$ and/or $\hat y_i$ are $\in [0, 1]$ -- i.e. they can actually take values in between 0 and 1).

• upper bound: here, $e_i$ is $\leq 1$, so
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  (This upper bound occurs for integer $n_{wrong}$, if you go for partial/fractional class membership and thus also for $e_i \in [0, 1]$, things get a bit more complicated because you need to take into account that the maximum possible error can be less than 1, and you may have a "leftover" $e_i < 1$ which both lower the upper bound a bit further.)

If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.