Compreensão conceitual do erro quadrático médio da raiz e do desvio médio do viés

Eu gostaria de obter uma compreensão conceitual do Root Mean Squared Error (RMSE) e do desvio médio da polarização (MBD). Tendo calculado essas medidas para minhas próprias comparações de dados, muitas vezes fiquei perplexo ao descobrir que o RMSE é alto (por exemplo, 100 kg), enquanto o MBD é baixo (por exemplo, menos de 1%).

Mais especificamente, estou procurando uma referência (não on-line) que liste e discuta a matemática dessas medidas. Qual é a maneira normalmente aceita de calcular essas duas medidas e como devo relatá-las em um artigo de jornal?

Seria realmente útil, no contexto desta postagem, ter um conjunto de dados "brinquedo" que possa ser usado para descrever o cálculo dessas duas medidas.

Por exemplo, suponha que eu encontre a massa (em kg) de 200 widgets produzidos por uma linha de montagem. Eu também tenho um modelo matemático que tentará prever a massa desses widgets. O modelo não precisa ser empírico e pode ser baseado fisicamente. Calculo o RMSE e o MBD entre as medidas reais e o modelo, constatando que o RMSE é de 100 kg e o MBD é de 1%. O que isso significa conceitualmente e como eu interpretaria esse resultado?

Agora, suponha que eu descubra, a partir do resultado deste experimento, que o RMSE é de 10 kg e o MBD é de 80%. O que isso significa e o que posso dizer sobre esse experimento?

Qual o significado dessas medidas e o que as duas (juntas) implicam? Que informações adicionais o MBD fornece quando considerado com o RMSE?

Eu acho que esses conceitos são fáceis de explicar. Então, eu prefiro apenas descrevê-lo aqui. Tenho certeza de que muitos livros básicos de estatística cobrem isso, incluindo o meu livro "Os fundamentos da bioestatística para médicos, enfermeiros e clínicos".

Pense em um alvo com um alvo no meio. O erro quadrado médio representa a distância quadrada média de uma flecha no alvo e no centro. Agora, se suas flechas se espalharem uniformemente pelo centro, o atirador não terá viés de mira e o erro quadrático médio será o mesmo da variação.

Mas, em geral, as flechas podem se espalhar em torno de um ponto do alvo. A distância quadrada média das setas do centro das setas é a variação. Este centro pode ser visto quando os atiradores apontam. A distância deste centro ou ponto de tiro do atirador ao centro do alvo é o valor absoluto do viés.

Pensando em um triângulo retângulo em que o quadrado da hipotenusa é a soma dos quadrados dos dois lados. Portanto, uma distância quadrada da seta ao alvo é o quadrado da distância da seta ao ponto de mira e o quadrado da distância entre o centro do alvo e o ponto de mira. A média de todas essas distâncias quadradas fornece o erro quadrático médio como a soma do desvio ao quadrado e a variação.

O RMSE é uma maneira de medir quão bom nosso modelo preditivo é sobre os dados reais, quanto menor o RMSE, melhor a maneira como o modelo se comporta, ou seja, se testássemos isso em um novo conjunto de dados (não no nosso conjunto de treinamento), mas novamente tendo um RMSE de 0,37 em um intervalo de 0 a 1, é responsável por muitos erros em comparação com um RMSE de 0,01 como um modelo melhor. O BIAS é para superestimar ou subestimar.

Até onde eu entendo, um RMSE fornece um valor mais preciso do erro entre o modelo e o observado; no entanto, o BIAS, além de fornecer um valor do erro (menos preciso que o RMSE), também pode determinar se o modelo é viés positivo ou negativo, se o modelo estiver subestimando ou superestimando os valores observados.