Como prever probabilidades no xgboost?

A função de previsão abaixo também fornece valores -ve, portanto não podem ser probabilidades.

param <- list(max.depth = 5, eta = 0.01,  objective="binary:logistic",subsample=0.9)
bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000)

pred_s <- predict(bst, x_mat_s2)

Eu google e tentei, pred_s <- predict(bst, x_mat_s2,type="response") mas não funcionou.

Questão

Como prever probabilidades?

machine-learning r predictive-modeling decision-trees

— GeorgeOfTheRF
fonte

Não gera probabilidades por padrão com as configurações usadas? Quero dizer: você examinou pred_s e tem certeza de que não são probabilidades?

— Kpb

Não é ter valores negativos. A probabilidade deve variar entre 0 e 1.

— GeorgeOfTheRF

Não vejo problemas óbvios. (Embora eu esteja mais familiarizado com o wrapper python). Você já tentou adicionar outputmargin=Fà predictfunção? Se, de alguma forma, outputmarginestiver definido como T, ele retornará o valor antes da transformação logística.

— inversion

Para Python, você pode copiar a predict_probaimplementação da sklearnAPI: github.com/dmlc/xgboost/blob/master/python-package/xgboost/…

— Anton Tarasenko

Respostas:

Saiba que estou um pouco atrasado, mas para obter probabilidades, xgboostvocê deve especificar multi:softmaxobjetivos como este:

xgboost(param, data = x_mat, label = y_mat,nround = 3000, objective='multi:softprob')

De ?xgb.train:

multi: softprob igual a softmax, mas gera um vetor de ndata * nclass, que pode ser remodelado ainda mais para ndata, nclass matrix. O resultado contém probabilidades previstas de cada ponto de dados pertencente a cada classe.

— cyberj0g
fonte

Obrigado. Como essa função de perda é diferente de binária: logística para classificação binária?

— GeorgeOfTheRF

É apenas uma generalização da função logística para o caso de várias classes, não deve haver diferença significativa.

— cyberj0g

Basta usar em predict_probavez de predict. Você pode deixar o objetivo como binary:logistic.

— ihadanny
fonte

Se fosse Python e não R, então essa resposta pode ser sensata. Linguagem errada.

— B_Miner 15/08/16

oops! obrigado @B_Miner. Não estou excluindo esta resposta, uma vez que pode ser útil para outras pessoas que vão fazer o mesmo erro e pensar que estamos falando de python ..

— ihadanny

Para mim, isso não faz o truque datascience.stackexchange.com/questions/14527/…

— Georg Heiler

não xgboost não tem uma função predict_proba

— Ashoka Lella

O XGBoost Classifier possui uma opção predict_proba xgboost.readthedocs.io/en/latest/python/python_api.html

— Paul Bendevis

depois da previsão

pred_s <- predict(bst, x_mat_s2)

você pode obter a probabilidade de

pred_s$data

Se esta é uma classificação binária, pred_s$datainclui prob.0, prob.1, resposta.

Para que você possa obter prob.1,

pred_s$data$prob.1

— Dera
fonte