Intervalo de confiança do RMSE

Tirei uma amostra de $n$ pontos de dados de uma população. Cada um desses pontos tem um valor verdadeiro (conhecido da verdade do terreno) e um valor estimado. Em seguida, calculo o erro para cada ponto amostrado e, em seguida, calculo o RMSE da amostra.

Como deduzir então algum tipo de intervalo de confiança em torno desse RMSE, com base no tamanho da amostra $n$ ?

Se eu estivesse usando a média, e não o RMSE, não teria problemas em fazer isso, pois posso usar a equação padrão

$m = \frac{Z \sigma}{\sqrt{n}}$

mas não sei se isso é válido para o RMSE e não a média. Existe alguma maneira de eu adaptar isso?

(Vi essa pergunta , mas não tenho problemas em saber se minha população está normalmente distribuída, e é com isso que a resposta lida)

confidence-interval

— robintw
fonte

O que você está computando especificamente quando "calcula o RMSE da amostra"? É o RMSE dos valores reais, dos valores estimados ou de suas diferenças?

— whuber

Estou calculando o RMSE das diferenças, ou seja, calculando a raiz quadrada da média das diferenças quadráticas entre os valores verdadeiros e estimados.

— precisa saber é

Se você conhece a 'verdade básica' (embora eu não tenha certeza do que isso realmente significa), por que você precisaria da incerteza no RMSE? Você está tentando construir algum tipo de inferência sobre casos em que você não tem a verdade básica? Este é um problema de calibração?

— Glen_b -Reinstala Monica

@Glen_b: Sim, é exatamente isso que estamos tentando fazer. Não temos a verdade básica para toda a população, apenas para a amostra. Estamos então calculando um RMSE para a amostra e queremos ter intervalos de confiança nisso, pois estamos usando essa amostra para inferir o RMSE da população.

— robintw

Possível duplicata do SE da RMSE em R

— Curioso

Respostas:

Com um raciocínio semelhante ao apresentado aqui , posso responder a sua pergunta sob certas condições.

Let ser o seu verdadeiro valor para o ponto de dados e o valor estimado. Se assumirmos que as diferenças entre os valores estimado e verdadeiro têm $x_{i}$ $i^{th}$ $\hat{x}_{i}$

média zero (isto é, o são distribuídos em torno ) $\hat{x}_{i}$ $x_{i}$
siga uma distribuição normal
e todos têm o mesmo desvio padrão $\sigma$

em resumo:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

então você realmente quer um intervalo de confiança para . $\sigma$

Se as premissas acima forem verdadeiras, segue umadistribuição com(não) graus de liberdade. Isso significa

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Portanto, é o seu intervalo de confiança.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Aqui está um programa python que simula sua situação

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Espero que ajude.

Se você não tem certeza se as suposições se aplicam ou se deseja comparar o que escrevi com um método diferente, você sempre pode tentar iniciar .

— fabee
fonte

Eu acho que você está errado - ele quer CI para RMSE, não

. E eu também quero :)

σ

$\sigma$

— Curious

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$ , BIAS, MSE (mean squared error) and RMSE are given by:

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$ , but MSE is not the biased sample variance. Instead:

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$ or, if both BIAS and RMSE were computed,

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$ , STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$ ) and $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

— cvr
fonte

Você está certo, mas perdeu uma parte da minha resposta. Eu basicamente assumi que o BIAS = 0 (veja a suposição 1). Nesse caso,

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$ como você derivou. Desde que ambos

R M S E^{2}

$RMSE^2$ e

B I A S^{2}

$BIAS^2$ são

χ^{2}

$\chi^2$ e existe uma solução de formulário próximo para a soma de dois

χ^{2}

$\chi^2$ RVs, you can probably derive a close form confidence interval for the case when assumption 1 is dropped. If you do that and update your answer, I'll definitely upvote it.

— fabee

Following Faaber 1999, the uncertainty of RMSE is given as

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$ where

n

$n$ is the number of datapoints.

— LKlevin
fonte