Quais são as deficiências do erro médio percentual absoluto (MAPE)?

O erro médio percentual absoluto ( mape ) é uma medida de precisão ou erro comum para séries temporais ou outras previsões,

MAPE = \frac{100}{n} \sum_{t = 1}^{n} \frac{| A_{t} - F_{t} |}{A_{t}} %,

$\text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%,$

onde são reais e previsões ou previsões correspondentes. $A_t$ $F_t$

O MAPE é uma porcentagem, para que possamos compará-lo facilmente entre séries, e as pessoas possam entender e interpretar porcentagens facilmente.

No entanto, ouvi dizer que o MAPE tem desvantagens. Gostaria de entender melhor essas desvantagens para que eu possa tomar uma decisão informada sobre usar o MAPE ou alguma alternativa como o MSE ( mse ), o MAE ( mae ) ou o MASE ( mase ).

accuracy mape

— S. Kolassa - Restabelecer Monica
fonte

Deficiências do MAPE

O MAPE, como porcentagem, só faz sentido para valores onde divisões e proporções fazem sentido. Não faz sentido calcular porcentagens de temperaturas, por exemplo, portanto, você não deve usar o MAPE para calcular a precisão de uma previsão de temperatura.
Se apenas um único real é zero, , você divide por zero no cálculo do MAPE, que é indefinido. $A_t=0$

Acontece que alguns softwares de previsão, no entanto, relatam um MAPE para essas séries, simplesmente eliminando períodos com zero de reais ( Hoover, 2006 ). Escusado será dizer que essa não é uma boa idéia, pois implica que não nos importamos com o que se o real fosse zero - mas uma previsão de e uma de pode ter implicações muito diferentes . Portanto, verifique o que o seu software faz. $F_t=100$ $F_t=1000$

Se apenas alguns zeros ocorrerem, você poderá usar um MAPE ponderado ( Kolassa & Schütz, 2007 ), que, no entanto, possui problemas próprios. Isso também se aplica ao MAPE simétrico ( Goodwin & Lawton, 1999 ).
MAPEs maiores que 100% podem ocorrer. Se você prefere trabalhar com precisão, que algumas pessoas definem como 100% -MAPE, isso pode levar à precisão negativa, que as pessoas podem ter dificuldade em entender. ( Não, a truncagem da precisão em zero não é uma boa ideia. )
Se tivermos dados estritamente positivos que desejamos prever (e acima, o MAPE não faz sentido de outra forma), nunca preveremos abaixo de zero. Infelizmente, o MAPE trata as previsões externas de maneira diferente das previsões anteriores: uma previsão insuficiente nunca contribuirá com mais de 100% (por exemplo, se e ), mas a contribuição de uma previsão insuficiente é ilimitada (por exemplo, se e ) Isso significa que o MAPE pode ser menor para previsões tendenciosas do que para previsões imparciais. Minimizar isso pode levar a previsões com um viés baixo. $F_t=0$ $A_t=1$ $F_t=5$ $A_t=1$

Especialmente o último item merece um pouco mais de reflexão. Para isso, precisamos dar um passo atrás.

Para começar, observe que não conhecemos o resultado futuro perfeitamente, e nunca saberemos. Portanto, o resultado futuro segue uma distribuição de probabilidade. Nossa chamada previsão é nossa tentativa de resumir o que sabemos sobre a distribuição futura (isto é, a distribuição preditiva ) no momento usando um único número. O MAPE é então uma medida de qualidade de toda uma sequência desses resumos de número único de distribuições futuras nos tempos . $F_t$ $t$ $t=1, \dots, n$

O problema aqui é que as pessoas raramente dizem explicitamente o que é um bom resumo de um número de uma distribuição futura.

Quando você fala com clientes de previsão, eles geralmente querem que esteja correto "em média". Ou seja, eles querem que seja a expectativa ou a média da distribuição futura, em vez de, digamos, sua mediana. $F_t$ $F_t$

Aqui está o problema: minimizar o MAPE normalmente não nos incentivará a produzir essa expectativa, mas um resumo de um número bastante diferente ( McKenzie, 2011 , Kolassa, 2020 ). Isso acontece por duas razões diferentes.

Distribuições futuras assimétricas. Suponha que nossa verdadeira distribuição futura siga uma distribuição estacionária lognormal. A figura a seguir mostra uma série temporal simulada, bem como a densidade correspondente. $(\mu=1,\sigma^2=1)$

As linhas horizontais fornecem as previsões de pontos ideais, em que "otimização" é definida como minimização do erro esperado para várias medidas de erro.
- A linha tracejada em minimiza o MSE esperado. É a expectativa da série cronológica. $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
- A linha pontilhada em minimiza o MAE esperado. É a mediana da série temporal. $F_t=\exp\mu\approx 2.7$
- A linha tracejada em minimiza o MAPE esperado. É o (-1) -mediano da série temporal ( Gneiting, 2011 , p. 752 com ), que no caso específico de uma distribuição lognormal coincide com o modo da distribuição . $F_t=\exp(\mu-\sigma^2)=1.0$ $\beta=-1$
Vemos que a assimetria da distribuição futura, juntamente com o fato de o MAPE penalizar diferencialmente as super e sub-previsões, implica que a minimização do MAPE levará a previsões fortemente tendenciosas. ( Aqui está o cálculo das previsões de pontos ideais no caso gama ) .
Distribuição simétrica com alto coeficiente de variação. Suponha que deriva de rolar um dado de seis lados padrão a cada momento . A figura abaixo mostra novamente um caminho de amostra simulado: $A_t$ $t$

Nesse caso:
- A linha tracejada em minimiza o MSE esperado. É a expectativa da série cronológica. $F_t=3.5$
- Qualquer previsão (não mostrada no gráfico) minimizará o MAE esperado. Todos os valores neste intervalo são medianas da série temporal. $3\leq F_t\leq 4$
- A linha pontilhada em minimiza o MAPE esperado. $F_t=2$
Mais uma vez, vemos como a minimização do MAPE pode levar a uma previsão tendenciosa, devido à penalidade diferencial aplicada a super e sub-previsões. Nesse caso, o problema não vem de uma distribuição assimétrica, mas do alto coeficiente de variação de nosso processo de geração de dados.

Esta é realmente uma ilustração simples que você pode usar para ensinar as pessoas sobre as deficiências do MAPE - apenas entregue alguns dados aos participantes e faça-os rolar. Veja Kolassa & Martin (2011) para mais informações.

Perguntas relacionadas com CrossValidated

Código R

Exemplo de lognormal:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Exemplo de rolagem de dados:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referências

Gneiting, T. Fazendo e avaliando previsões de pontos . Jornal da Associação Estatística Americana , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Sobre a assimetria do MAPE simétrico . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Medindo a precisão das previsões: omissões nos atuais mecanismos de previsão e software de planejamento da demanda . Prospecção: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Por que a "melhor" previsão de pontos depende do erro ou da medida de precisão (comentário convidado na competição de previsão M4). Revista Brasileira de Previsão , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Os erros percentuais podem arruinar o seu dia (e rolar os dados mostra como) . Prospecção: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vantagens da relação MAD / Média sobre o MAPE . Prospecção: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Média de erro percentual absoluto e viés na previsão econômica . Economics Letters , 2011, 113, 259-262

— S. Kolassa - Restabelecer Monica
fonte

Excelente Q&A. Eu acrescentaria que todas essas métricas têm duas grandes suposições subjacentes - a série é iid e estacionária. Se uma ou ambas as suposições não forem atendidas, o que acontece com frequência na prática, sua validade é questionável.

— Mike Hunter

Eu concordo com a maior parte disso, no entanto, não seria legítimo lidar com proporções de temperaturas, desde que estejam em sua escala adequada (isto é, a escala Kelvin)?

— Reponha Monica

@ Ben: nesse caso, não vamos dividir por zero. No entanto, a assimetria ainda é um pequeno problema. Se a sua previsão for 293K e a real for 288K, você terá um APE de 1,74% e se a previsão for 288K enquanto a real for 293K, o APE será de 1,71%, portanto, a segunda previsão parecerá melhor, embora ambas estejam em 5K . (Traduza para C ou F, conforme necessário.) Essencialmente, os mesmos erros absolutos são penalizados mais fortemente por valores reais mais baixos. Além disso, a interpretação de erros percentuais para temperaturas não é fácil.

— S. Kolassa - Restabelece Monica

@Ben As porcentagens de temperatura absoluta são legítimas, mas as diferenças de temperatura são mais fáceis de entender - pelo menos quando lidamos com temperaturas no intervalo diário; ao prever a temperatura central em estrela, pode ser o contrário.

— Pere