Como interpretar medidas de erro?

Estou executando o classify no Weka para um determinado conjunto de dados e notei que, se estou tentando prever um valor nominal, a saída mostra especificamente os valores previstos correta e incorretamente. No entanto, agora estou executando-o para um atributo numérico e a saída é:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Como eu interpreto isso? Eu tentei pesquisar cada noção no Google, mas não entendo muito, pois as estatísticas não estão no meu campo de especialização. Eu apreciaria muito um tipo de resposta ELI5 em termos estatísticos.

— FloIancu
fonte

Vamos denotar o verdadeiro valor do interesse como e o valor estimado usando algum algoritmo como . $\theta$ $\hat{\theta}$

A correlação informa quanto e estão relacionados. Fornece valores entre e , onde não possui relação, é muito forte, relação linear e é uma relação linear inversa (ou seja, valores maiores de indicam valores menores de ou vice versa). Abaixo, você encontrará um exemplo ilustrado de correlação. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Exemplo de Correlação

(fonte: http://www.mathsisfun.com/data/correlation.html )

O erro absoluto médio é:

M A E = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

O erro quadrático médio da raiz é:

R M S E = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Erro absoluto relativo :

R A E = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

onde é o valor médio de . $\overline{\theta}$ $\theta$

Erro quadrático relativo da raiz:

R R S E = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

Como você vê, todas as estatísticas comparam valores verdadeiros às estimativas, mas de uma maneira ligeiramente diferente. Todos eles dizem "a que distância" estão os valores estimados do valor real de . Às vezes, raízes quadradas são usadas e, às vezes, valores absolutos - isso ocorre porque, ao usar raízes quadradas, os valores extremos têm mais influência no resultado (consulte Por que quadrado a diferença em vez de considerar o valor absoluto no desvio padrão? Ou no Mathoverflow ). $\theta$

Em e você simplesmente analisa a "diferença média" entre esses dois valores - então você os interpreta comparando com a escala do seu valor disponível (por exemplo, de 1 ponto é um diferença de 1 ponto de entre e ). $\mathrm{ MAE}$ $\mathrm{ RMSE}$ $\mathrm{ MSE}$ $\theta$ $\hat{\theta}$ $\theta$

Em e você divide essas diferenças pela variação de para que elas tenham uma escala de 0 a 1 e se você multiplicar esse valor por 100, obterá similaridade na escala de 0 a 100 (ou seja, porcentagem ) Os valores de oudiga o quanto difere do valor médio - para que você possa dizer que é o quanto difere de si mesmo (compare com a variação ). Por esse motivo, as medidas são nomeadas "relativas" - elas fornecem resultados relacionados à escala de . $\mathrm{ RAE}$ $\mathrm{ RRSE}$ $\theta$ $\sum(\overline{\theta} - \theta_i)^2$ $\sum|\overline{\theta} - \theta_i|$ $\theta$ $\theta$ $\theta$

Veja também os slides .

— Tim
fonte

Obrigado pela sua explicação! Estou tentando avaliar o desempenho de vários algoritmos. Então, por exemplo, se eu receber essa outra saída (Correlação: 0,3044, MAE: 10,832, MSE: 47,2971, RAE: 83,163%, RSE: 95,2797%) e tentar compará-la com a primeira, qual eu poderia dizer que executou Melhor?

— precisa saber é o seguinte

Você deve escolher o modelo com maior correlação e estimativas de erro menores. Como você vê, existem várias medidas de desempenho do modelo (e essas são apenas poucas) e, às vezes, dão respostas diferentes. Quase nunca é o tipo de resposta "sim / não" que você recebe. A tarefa de seleção de modelos ficaria mais fácil se você se atualizar com a teoria; pode verificar, por exemplo, essas palestras .

— Tim

Muito obrigado! Fui em frente e marquei sua resposta como a resposta, porque você me ajudou bastante!

— precisa saber é o seguinte

@ Tim o erro médio absoluto deve provavelmente ser abreviado como MAE :)

— Antoine

@MewX Que tipo de referências você está procurando? É basicamente um RMSE redimensionado. Não há muito a dizer sobre isso ...

— Tim