Como interpretar o erro médio quadrático da raiz (RMSE) vs o desvio padrão?

Digamos que eu tenho um modelo que me fornece valores projetados. Eu calculo o RMSE desses valores. E então o desvio padrão dos valores reais.

Faz algum sentido comparar esses dois valores (variações)? O que eu acho é que, se o RMSE e o desvio padrão forem semelhantes / iguais, o erro / variação do meu modelo será o mesmo que realmente está acontecendo. Mas se nem faz sentido comparar esses valores, então esta conclusão pode estar errada. Se meu pensamento for verdadeiro, isso significa que o modelo é o melhor possível, porque não pode atribuir o que está causando a variação? Eu acho que a última parte provavelmente está errada ou pelo menos precisa de mais informações para responder.

Digamos que nossas respostas sejam e nossos valores previstos são .$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

A variação da amostra (usando vez de para simplificar) é enquanto o MSE é . Assim, a variação da amostra fornece quanto as respostas variam em torno da média, enquanto o MSE indica quanto as respostas variam em torno de nossas previsões. Se pensarmos na média geral como o preditor mais simples que jamais consideraríamos, comparando o MSE com a variação da amostra das respostas, podemos ver quanto mais variação explicamos com nosso modelo. É exatamente isso que o valor faz na regressão linear.$n$$n-1$$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

Considere a seguinte figura: A variação da amostra de é a variabilidade em torno da linha horizontal. Se projetarmos todos os dados no eixo , podemos ver isso. O MSE é a distância quadrática média da linha de regressão, ou seja, a variabilidade em torno da linha de regressão (ou seja, ). Portanto, a variabilidade medida pela variação da amostra é a distância ao quadrado média da linha horizontal, o que podemos ver é substancialmente mais do que a distância ao quadrado média da linha de regressão. $y_i$$Y$$\hat y_i$

$\hat{y}_i = \bar{y}$$\bar{y}$

$\hat{y}_i$

qual é o mais fácil de calcular.

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$

$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

Esse argumento se aplica a outras medidas de erro, não apenas ao RMSE, mas o RMSE é particularmente atraente para comparação direta com o SD, porque suas fórmulas matemáticas são análogas.