RMSE e MAE podem ter o mesmo valor?

Estou implementando validação cruzada e calculando métricas de erro como RMSE, , MAE, MSE, etc.$R^2$

RMSE e MAE podem ter o mesmo valor?

Sim, em teoria. O caso mais simples que posso imaginar é um conjunto de dados em que todos os erros de previsão (ou seja, resíduos) são exatamente 1. O RMSE e o MAE retornarão valores idênticos de 1. É possível construir outros cenários também, mas nenhum parece muito provável.$\pm$

EDIT: Agradecemos a @DilipSarwate por apontar (mais elaborado por @ user20160 em sua excelente resposta) que esse resultado é possível se e somente se os valores absolutos de todos os erros de previsão forem idênticos. Não há nada de especial no valor 1 no meu exemplo, em outras palavras; qualquer outro número funcionaria em vez de 1.$\pm$

O erro absoluto médio (MAE) pode ser igual ao erro quadrático médio (MSE) ou erro quadrático médio da raiz (RMSE) sob certas condições, que mostrarei abaixo. É improvável que essas condições ocorram na prática.

Preliminares

Vamos $r_i = |y_i - \hat{y}_i|$denote o valor absoluto do residual para o $i$ ésimo ponto de dados e seja um vetor que contém resíduos absolutos para todos os pontos no conjunto de dados. Permitindo denotar um vetor de um, o MAE, MSE e RMSE podem ser escritos como:$r = [r_i, \dots, r_n]^T$$n$$\vec{1}$$n \times 1$

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Definir o MSE igual ao MAE e reorganizar fornece:

$$(r - \vec{1})^T r = 0 \tag{2}$$

O MSE e o MAE são iguais para todos os conjuntos de dados em que os resíduos absolutos resolvem a equação acima. Duas soluções óbvias são: (não há erro zero) (os resíduos são todos , como mkt mencionado). Mas, existem infinitas soluções.$r = \vec{0}$$r = \vec{1}$$\pm 1$

Pode-se interpretar equação geometricamente como se segue: A LHS é o produto de ponto de e . O produto com ponto zero implica ortogonalidade. Portanto, o MSE e o MAE são iguais se a subtração de 1 de cada resíduo absoluto fornecer um vetor ortogonal aos resíduos absolutos originais.$(2)$$r-\vec{1}$$r$

Além disso, completando o quadrado, a equação pode ser reescrita como:$(2)$

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Esta equação descreve uma esfera dimensional centrada em com raio . O MSE e o MAE são iguais se e somente se os resíduos absolutos estiverem na superfície dessa hiperesfera.$n$$[\frac{1}{2}, \dots, \frac{1}{2}]^T$$\frac{1}{2} \sqrt{n}$

RMSE

Definir o RMSE igual ao MAE e reorganizar fornece:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

onde sou a matriz de identidade. O conjunto de soluções é o espaço nulo de ; isto é, o conjunto de todos os tais que . Para encontrar o espaço nulo, observe que é uma matriz com elementos diagonais iguais a e todos os outros elementos iguais a . A instrução corresponde ao sistema de equações:$I$A r A r = → 0 A n × n n - 1 - 1 A r = → 0$A$$r$$A r = \vec{0}$$A$$n \times n$$n-1$$-1$$A r = \vec{0}$

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Ou reorganizando as coisas:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Ou seja, todo elemento deve ser igual à média dos outros elementos. A única maneira de satisfazer esse requisito é que todos os elementos sejam iguais (esse resultado também pode ser obtido considerando-se a composição automática de ). Portanto, o conjunto de soluções consiste em todos os vetores não negativos com entradas idênticas:$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Portanto, o RMSE e o MAE são iguais se e somente se os valores absolutos dos resíduos forem iguais para todos os pontos de dados.