Estou usando regressão quantílica (por exemplo, via gbm
ou quantreg
em R) - não focando na mediana, mas em um quantil superior (por exemplo, 75º). Vindo de um histórico de modelagem preditiva, quero medir o quão bem o modelo se encaixa em um conjunto de testes e poder descrevê-lo para um usuário comercial. Minha pergunta é como? Em uma configuração típica com um destino contínuo, eu poderia fazer o seguinte:
- Calcular o RMSE geral
- Decile os dados configurados pelo valor previsto e compare a média real com a média prevista em cada decil.
- Etc.
O que pode ser feito neste caso, onde realmente não há valor real (acho que pelo menos) para comparar a previsão?
Aqui está um código de exemplo:
install.packages("quantreg")
library(quantreg)
install.packages("gbm")
library(gbm)
data("barro")
trainIndx<-sample(1:nrow(barro),size=round(nrow(barro)*0.7),replace=FALSE)
train<-barro[trainIndx,]
valid<-barro[-trainIndx,]
modGBM<-gbm(y.net~., # formula
data=train, # dataset
distribution=list(name="quantile",alpha=0.75), # see the help for other choices
n.trees=5000, # number of trees
shrinkage=0.005, # shrinkage or learning rate,
# 0.001 to 0.1 usually work
interaction.depth=5, # 1: additive model, 2: two-way interactions, etc.
bag.fraction = 0.5, # subsampling fraction, 0.5 is probably best
train.fraction = 0.5, # fraction of data for training,
# first train.fraction*N used for training
n.minobsinnode = 10, # minimum total weight needed in each node
cv.folds = 5, # do 3-fold cross-validation
keep.data=TRUE, # keep a copy of the dataset with the object
verbose=TRUE) # don’t print out progress
best.iter<-gbm.perf(modGBM,method="cv")
pred<-predict(modGBM,valid,best.iter)
Agora o que - já que não observamos o percentil da distribuição condicional?
Adicionar:
Eu propus vários métodos e gostaria de saber se eles estão corretos e se existem melhores - também como interpretar o primeiro:
Calcule o valor médio das funções de perda:
qregLoss<-function(actual, estimate,quantile) { (sum((actual-estimate)*(quantile-((actual-estimate)<0))))/length(actual) }
Essa é a função de perda para regressão quantílica - mas como interpretamos o valor?
Deveríamos esperar que, por exemplo, calculemos o 75º percentil que, em um conjunto de testes, o valor previsto deve ser maior que o valor real em cerca de 75% das vezes?
Existem outros métodos formais ou heurísticos para descrever quão bem o modelo prevê novos casos?