Métricas de erro para validação cruzada de modelos Poisson

Estou validando cruzadamente um modelo que está tentando prever uma contagem. Se esse fosse um problema de classificação binária, eu calcularia a AUC fora da dobra e, se esse fosse um problema de regressão, calcularia o RMSE ou o MAE fora da dobra.

Para um modelo de Poisson, que métricas de erro posso usar para avaliar a "precisão" das previsões fora da amostra? Existe uma extensão de AUC de Poisson que analisa quão bem as previsões ordenam os valores reais?

Parece que muitas competições do Kaggle por contagens (por exemplo, número de votos úteis que uma revisão de yelp terá ou número de dias que um paciente passará no hospital) usam o erro quadrático médio do log ou o RMLSE.

/ Edit: Uma coisa que eu tenho feito é calcular deciles dos valores previstos e, em seguida, ver as contagens reais, ordenadas por decil. Se o decil 1 é baixo, o decil 10 é alto e os decilitros estão aumentando estritamente, eu chamo o modelo de "bom", mas tenho tido problemas para quantificar esse processo e convenci de que há um melhor aproximação.

/ Edit 2: estou procurando uma fórmula que aceite valores reais e previstos e retorne alguma métrica "erro" ou "precisão". Meu plano é calcular essa função nos dados que não estão dobra durante a validação cruzada e depois usá-la para comparar uma grande variedade de modelos (por exemplo, uma regressão de Poisson, uma floresta aleatória e um GBM ).

Por exemplo, uma dessas funções é RMSE = sqrt(mean((predicted-actual)^2)). Outra função seria a AUC . Nenhuma função parece correta para dados de poisson.

Existem algumas regras de pontuação estritas e adequadas para os dados de contagem que você pode usar. Regras de pontuação são penalidades introduzidas com sendo a distribuição preditiva e o valor observado. Eles têm várias propriedades desejáveis, em primeiro lugar que uma previsão mais próxima da verdadeira probabilidade sempre recebe menos penalidade e existe uma melhor (única) melhor previsão e é quando a probabilidade prevista coincide com a verdadeira probabilidade. Assim, minimizar a expectativa de significa relatar as verdadeiras probabilidades. Veja também Wikipedia .P y s ( y , P $s(y,P)$$P$$y$$s(y,P)$

Freqüentemente, toma-se uma média daqueles sobre todos os valores previstos,

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Qual regra a ser adotada depende do seu objetivo, mas darei uma caracterização aproximada quando cada uma for boa para ser usada.

No que segue, uso para a função de massa de probabilidade preditiva e a função de distribuição cumulativa preditiva. Um passa por todo o suporte da distribuição de contagem (ou seja, ). indica uma função indicadora. e são a média e o desvio padrão da distribuição preditiva (que geralmente são quantidades estimadas diretamente nos modelos de dados de contagem). $f(y)$$\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Regras de pontuação estritamente adequadas

• Brier Score : (estável para desequilíbrio de tamanho em preditores categóricos)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Escore de Dawid-Sebastiani : (bom para a escolha geral do modelo preditivo; estável para o desequilíbrio de tamanho nos preditores categóricos)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Escore de desvio : ( é um termo de normalização que depende apenas de , nos modelos de Poisson é geralmente considerado o desvio saturado; bom para uso com estimativas de uma estrutura de ML)$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Escore logarítmico : (calculado com muita facilidade; estável para desequilíbrio de tamanho em preditores categóricos)$s(y,P)=-\log f(y)$
• Escore de probabilidade classificada : (bom para contrastar previsões diferentes de contagens muito altas; suscetível ao desequilíbrio de tamanho em preditores categóricos)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Escore esférico : (estável para desequilíbrio de tamanho em preditores categóricos)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Outras regras de pontuação (não tão apropriadas, mas frequentemente usadas)

• Escore de erro absoluto :(não apropriado)$s(y,P)=|y-\mu|$
• Escore de erro ao quadrado : (não estritamente adequado; suscetível a discrepantes; suscetível ao desequilíbrio de tamanho nos preditores categóricos)$s(y,P)=(y-\mu)^2$
• Escore de erro ao quadrado normalizado de Pearson : (não estritamente adequado; suscetível a outliers; pode ser usado para verificar se o modelo verifica se o escore médio é muito diferente de 1; estável para desequilíbrio de tamanho em preditores categóricos)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Exemplo de código R para regras estritamente apropriadas:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)