RMSE x coeficiente de determinação

Estou avaliando um modelo físico e gostaria de saber qual dos métodos devo usar aqui (entre RMSE e Coeficiente de determinação R2)

O problema é o seguinte: Eu tenho uma função que gera previsões para o valor de entrada x, . Eu também tenho a observação real desse valor que eu chamo de .y$\overline{y_x}= f(x)$$y_x$

Minha pergunta é quais são os prós e os contras do RMSE ou . Vi os dois serem usados ​​em documentos para o problema em que estou trabalhando.$R^2$

Eu usei os dois e tenho alguns pontos a fazer.

• Rmse é útil porque é simples de explicar. Todo mundo sabe o que é.
• Rmse não mostra valores relativos. Se , você deve conhecer especificamente o intervalo α < y x < β . Se α = 1 , β = 1000 , 0,2 é um bom valor. Se α = 0 , β = 1 , não parece mais tão bom.$rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• De acordo com a abordagem anterior, o rmse é uma boa maneira de esconder o fato de que as pessoas que você pesquisou ou as medidas que você fez são na maioria uniformes (todos classificaram o produto com 3 estrelas) e seus resultados parecem bons porque os dados o ajudaram. Se os dados fossem um pouco aleatórios, você encontraria seu modelo orbitando Júpiter.
• Use o coeficiente de determinação ajustado, em vez do R 2 comum$R^2$
• O coeficiente de determinação é difícil de explicar. Até as pessoas do campo precisam de uma nota de rodapé como \ nota de rodapé {O coeficiente de determinação ajustado é a proporção de variabilidade em um conjunto de dados que pode ser explicado pelo modelo estatístico. Este valor mostra quão bem os resultados futuros podem ser previstos pelo modelo. pode ter como mínimo 0, 1 e como máximo.}$R^2$
• O coeficiente de determinação é, no entanto, muito preciso ao dizer quão bem seu modelo explica um fenômeno. se , independentemente dos valores y x , seu modelo é ruim. Acredito que o ponto de corte para um bom modelo começa em 0,6 e, se você tiver algo em torno de 0,7-0,8, seu modelo será muito bom.$R^2=0.2$$y_x$
• Para recapitular, diz que, com o seu modelo, você pode explicar 70% do que está acontecendo nos dados reais. O restante, 30%, é algo que você não sabe e não pode explicar. Provavelmente é porque existem fatores de confusão ou você cometeu alguns erros na construção do modelo.$R^2=0.7$
• Na ciência da computação, quase todo mundo usa rmse. Ciências sociais usar mais vezes.$R^2$
• Se você não precisar justificar os parâmetros em seu modelo, use rmse. No entanto, se você precisar inserir, remover ou alterar seus parâmetros ao criar seu modelo, use para mostrar que esses parâmetros podem explicar melhor os dados.$R^2$
• Se você usar , codifique no idioma R. Possui bibliotecas e você fornece os dados para obter todos os resultados.$R^2$

Para um aspirante a cientista da computação, era emocionante escrever sobre estatística. Sinceramente.

Independentemente da medida de erro que você der, considere fornecer seu vetor de resultado completo em um apêndice. Pessoas que gostam de comparar com o seu método, mas preferem outra medição de erro, podem derivar esse valor da sua tabela.

:$R^2$

• $R^2$

• $R^2$

• Pode ser expressa pela fórmula fácil de entender, onde você constrói a razão da soma dos resíduos quadrados e divide pela média:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• $R^2_{adj.}$

$RMSE$

• $RMSE$$RMSE$$R^2$

• $rel. RMSE$$rel. RMSE$

Como outras pessoas mencionaram, a escolha pode depender do seu campo e estado da arte. Existe um método amplamente aceito para comparar também? Use a mesma medida que eles e você poderá vincular diretamente os benefícios de seus métodos facilmente na discussão.

$R^2$

Eu usaria o seguinte como um guia muito geral para entender a diferença entre as duas métricas:

O RMSE fornece uma noção de quão próximos (ou distantes) seus valores previstos estão dos dados reais que você está tentando modelar. Isso é útil em várias aplicações em que você deseja entender a exatidão e a precisão das previsões do seu modelo (por exemplo, modelar a altura da árvore).

Prós

1. É relativamente fácil de entender e comunicar, pois os valores relatados estão nas mesmas unidades que a variável dependente que está sendo modelada.

Contras

1. É sensível a erros grandes (penaliza mais erros grandes de previsão do que erros menores de previsão).

$R^2$

Prós

1. Dá uma noção geral de quão bem suas variáveis ​​selecionadas se ajustam aos dados.

Contras

1. $R^2$$R^2$

Obviamente, o exposto acima estará sujeito ao tamanho da amostra e ao design da amostra, e um entendimento geral de que a correlação não implica causalidade.

Existe também o MAE, Mean Absolute Error. Ao contrário do RMSE, ele não é excessivamente sensível a erros grandes. Pelo que li, alguns campos preferem o RMSE, outros o MAE. Eu gosto de usar os dois.

Na verdade, para os cientistas estatísticos conhecerem o melhor ajuste do modelo, o RMSE é muito importante para as pessoas em sua pesquisa robusta. Se o RMSE estiver muito próximo de zero, o modelo será mais bem ajustado.

O coeficiente de determinação é bom para outros cientistas, como campos agrícolas e outros. É um valor entre 0 e 1. Se for 1, 100% dos valores correspondem aos conjuntos de dados observados. Se for 0, os dados serão completamente heterogêneos. Dr.SK.Khadar Babu, Universidade VIT, Vellore, TamilNadu, Índia.

Se algum número for adicionado a cada elemento de um dos vetores, o RMSE será alterado. O mesmo se todos os elementos em um ou em ambos os vetores forem multiplicados por um número. O código R segue;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Em última análise, a diferença é apenas padronização, pois ambas levam à escolha do mesmo modelo, porque RMSE vezes o número de observações está no numerador ou R ao quadrado, e o denominador desta última é constante em todos os modelos (basta traçar uma medida contra a outro para 10 modelos diferentes).