Perguntas com a marcação «xgboost»

Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Existem várias implementações da família de modelos GBDT, como: GBM XGBoost LightGBM Catboost. Quais são as diferenças matemáticas entre essas diferentes implementações? O Catboost parece ter um desempenho superior às outras implementações, mesmo usando apenas seus parâmetros padrão de acordo com essa marca de referência , mas ainda é muito …

33 boosting  xgboost 

Como exemplo, assumir a função objetivo do modelo XGBoost no 'th iteração:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) onde é a função de perda, é o 'th saída de árvore e é a regularização. Uma das (muitas) etapas principais para o cálculo rápido é a aproximação:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), onde e são a primeira e a …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Eu tenho um conjunto de dados muito desequilibrado. Estou tentando seguir o conselho de ajuste e o uso, scale_pos_weightmas não tenho certeza de como devo ajustá-lo. Eu posso ver que RegLossObj.GetGradientsim: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight portanto, um gradiente de uma amostra positiva seria mais influente. No entanto, …

26 unbalanced-classes  xgboost 

A definição do parâmetro min_child_weight no xgboost é fornecida como: soma mínima do peso da instância (hessian) necessária em uma criança. Se a etapa de partição em árvore resultar em um nó folha com a soma do peso da instância menor que min_child_weight, o processo de criação desistirá de particionar …

23 machine-learning  xgboost  hessian 

Estou tentando entender como o XGBoost funciona. Eu já entendo como as árvores com gradiente aumentado funcionam no sklearn do Python. O que não está claro para mim é se o XGBoost funciona da mesma maneira, mas mais rápido, ou se existem diferenças fundamentais entre ele e a implementação do …

20 scikit-learn  boosting  gbm  xgboost 

Estou trabalhando com muitos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Todos eles foram bem rápidos, exceto o SVM. Foi quando soube que ele precisa de redimensionamento de recursos para funcionar mais rapidamente. Então comecei a me perguntar se eu deveria fazer o …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Existem muitas postagens de blog, vídeos do YouTube etc. sobre as idéias de empacotar ou aumentar árvores. Meu entendimento geral é que o pseudo-código para cada um é: Ensacamento: Coletar N amostras aleatórias de x% das amostras e% de recursos Ajuste seu modelo (por exemplo, árvore de decisão) em cada …

17 cart  boosting  xgboost  bagging 

Digamos que temos um problema de classificação binária com recursos principalmente categóricos. Usamos algum modelo não linear (por exemplo, XGBoost ou Random Forests) para aprendê-lo. Ainda se deve preocupar com a multicolinearidade? Por quê? Se a resposta acima for verdadeira, como combatê-la, considerando que estamos usando esses tipos de modelos …

13 classification  random-forest  multicollinearity  xgboost 

Recentemente, analisei o algoritmo XGBoost e notei que esse algoritmo pode manipular dados ausentes (sem exigir imputação) na fase de treinamento. Eu queria saber se o XGboost pode lidar com dados ausentes (sem exigir imputação) quando é usado para prever novas observações ou é necessário imputá-los. Desde já, obrigado.

11 machine-learning  missing-data  data-imputation  xgboost 

Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de probabilidade. Então, como eles calculam as probabilidades?

11 machine-learning  classification  boosting  ensemble  xgboost 

Eu sei como implementar a função objetivo linear e os reforços lineares no XGBoost. Minha pergunta concreta é: quando o algoritmo se encaixa no residual (ou no gradiente negativo) ele está usando um recurso em cada etapa (ou seja, modelo univariado) ou todos os recursos (modelo multivariado)? Qualquer referência à …

9 regression  machine-learning  boosting  xgboost 

Não consigo entender completamente como esse parâmetro funciona a partir da descrição na documentação [max_delta_step [padrão = 0]] Etapa delta máxima que permitimos que a estimativa de peso de cada árvore seja. Se o valor estiver definido como 0, significa que não há restrição. Se estiver definido como um valor …

9 xgboost 

especialistas! Talvez você saiba como calcular o intervalo de confiança para xgboost? A fórmula clássica com distribuição t não pode ajudar, porque meus dados não são normalmente distribuídos. Ou não importa? Se você sugerir alguma literatura, será muito útil, mas as abordagens em R e Python (no contexto da biblioteca …

8 confidence-interval  xgboost 

Eu estava tentando modelar uma variável dependente de contagem com exposição desigual. Glms clássicos usariam log (exposição) como deslocamento, também o gbm, mas o xgboost não permite o deslocamento até agora ... Tentando encontrar uma desvantagem neste exemplo em validação cruzada ( onde o deslocamento ocorre na regressão binomial negativa …

8 r  caret  poisson-regression  offset  xgboost