Calculando a probabilidade do RMSE

Eu tenho um modelo para prever uma trajetória (x em função do tempo) com vários parâmetros. No momento, calculo o erro quadrático médio da raiz (RMSE) entre a trajetória prevista e a trajetória registrada experimentalmente. Atualmente, minimizo essa diferença (o RMSE) usando simplex (fminsearch no matlab). Embora esse método funcione para dar bons ajustes, eu gostaria de comparar vários modelos diferentes, então acho que preciso calcular a probabilidade para poder usar a estimativa de probabilidade máxima em vez de minimizar o RMSE (e comparar os modelos usando AIC ou BIC ) Existe alguma maneira padrão de fazer isso?

maximum-likelihood curve-fitting

— Jason
fonte

O erro quadrático médio raiz e a probabilidade estão realmente intimamente relacionadas. Digamos que você tenha um conjunto de dados de pares e deseje modelar o relacionamento deles usando o modelo . Você decide minimizar o erro quadrático $\lbrace x_i, z_i \rbrace$ $f$

\sum_{Eu} {(f (x_{Eu}) - z_{Eu})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Essa escolha não é totalmente arbitrária? Claro, você deseja penalizar estimativas que estão completamente erradas mais do que aquelas que estão quase certas. Mas há uma boa razão para usar o erro ao quadrado.

Lembre-se da densidade gaussiana: ondeé a constante de normalização com a qual não nos importamos no momento. Vamos supor que seus dados de destinosejam distribuídos de acordo com um gaussiano. Para que possamos anotar a probabilidade dos dados. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

eu = \prod_{Eu} \frac{1}{Z} \exp \frac{- (f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Agora, se você pegar o logaritmo disso ...

registro eu = \sum_{Eu} \frac{- (f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}} - registro Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... acontece que está intimamente relacionado às rms: as únicas diferenças são alguns termos constantes, uma raiz quadrada e uma multiplicação.

Resumindo a história: Minimizar o erro médio quadrático raiz é equivalente a maximizar a probabilidade de log dos dados.

— bayerj
fonte

Obrigado pela explicação clara. Portanto, se eu quiser comparar dois modelos (não incorporados) usando o BIC, posso simplesmente largar os termos sigma ^ 2 e Z (assumindo efetivamente que são iguais entre os modelos) ao calcular a probabilidade?

— Jason

σ

$\sigma$

σ

$\sigma$

registro eu = \sum_{Eu} \frac{(f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}} - registro Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Falta algum sinal negativo na distribuição gaussiana?

— Manoj

σ

$\sigma$