Regressão: Qual é a utilidade de R ao quadrado comparado ao RMSE?

Suponha que eu esteja fazendo regressão com conjuntos de treinamento, validação e teste. Posso encontrar RMSE e R ao quadrado (R ^ 2, o coeficiente de determinação) da saída do meu software (como a função lm () de R).

Meu entendimento é que o teste RMSE (ou MSE) é a medida da bondade de prever os valores de validação / teste, enquanto R ^ 2 é uma medida da bondade de ajuste na captura da variação no conjunto de treinamento.

No mundo real, o que realmente me interessa é a precisão de previsão generalizada em dados que não vi. Então, qual é a utilidade do valor R ^ 2 comparado ao RMSE?

A não ajustado é definido como sendo R 2 = 1 - $R^2$

$y_i$$\bar y$$\hat y_i$$R^2$$RMSE$

$R^2$$RMSE = \sqrt{\frac{n}{n-p}MSE}$$p$

Chaconne fez um excelente trabalho ao definir as fórmulas de medidas e como elas estão intimamente relacionadas do ponto de vista matemático. Se você comparar ou classificar modelos usando o mesmo conjunto de dados, essas duas medidas são intercambiáveis, o que significa que você obterá exatamente a mesma classificação dos seus modelos, seja usando o R Square (classificando-os alto a baixo) ou o RMSE (classificando-os baixo a alto) .

No entanto, as duas medidas têm um significado e uso muito diferentes. R Square não é apenas uma medida de Qualidade do ajuste, é também uma medida de quanto o modelo (o conjunto de variáveis ​​independentes que você selecionou) explica o comportamento (ou a variação) de sua variável dependente. Portanto, se o seu modelo tiver um quadrado R de 0,60, isso explica 60% do comportamento da sua variável dependente. Agora, se você usar o Quadrado R Ajustado, que penaliza essencialmente o Quadrado R pelo número de variáveis ​​que você usa, terá uma boa idéia de quando deve parar de adicionar variáveis ​​ao seu modelo (e, eventualmente, obter um modelo que esteja super ajustado). Se o seu quadrado ajustado R for 0,60. E, quando você adiciona uma variável extra, ela aumenta para 0,61. Provavelmente não vale a pena adicionar essa variável extra.

Agora, migrar para o RMSE também conhecido como erro padrão. Tem um uso completamente diferente do R. Square. O Erro Padrão permite que você crie Intervalos de Confiança em torno de sua estimativa de regressão, assumindo o Nível de Confiança em que estiver interessado (normalmente 99%, 95% ou 90%). De fato, o erro padrão é o equivalente a um valor Z. Portanto, se você deseja criar um IC de 95% em torno da sua linha de tendência de regressão, multiplica o Erro Padrão por 1,96 e gera rapidamente uma estimativa alta e baixa como borda do seu IC de 95% em torno da linha de regressão.

Portanto, o quadrado R (e o quadrado R ajustado) e o erro padrão são extremamente úteis na avaliação da robustez estatística de um modelo. E, como indicado, eles têm aplicação prática completamente diferente. Mede-se o poder explicativo do modelo. O outro permite criar intervalos de confiança. Ambos, coisas muito úteis, mas diferentes.

Em relação à avaliação da precisão da previsão nos dados que você não viu, ambas as medidas têm suas limitações e a maioria das outras medidas que você pode pensar. Em novos dados que estão fora da amostra, o R Square e o Erro Padrão no histórico ou na amostra de aprendizado do modelo não serão de muita utilidade. O material fora da amostra é apenas um ótimo teste para verificar se seu modelo está super ajustado (ótimo R Square e baixo erro padrão, mas com baixo desempenho em fora da amostra) ou não. Entendo que medidas melhores para dados prospectivos (dados que você ainda não viu) são o critério de informações, incluindo AIC, BIC, SIC. E, o modelo com os melhores valores de critério de informação deve lidar melhor com dados não vistos, ou seja, ser mais preditivo. Essas medidas são primos próximos do conceito Ajustado R Square. Contudo,