Perguntas com a marcação «boosting»

Existe uma maneira de obter uma pontuação de confiança (também podemos chamar de valor ou probabilidade de confiança) para cada valor previsto ao usar algoritmos como Florestas Aleatórias ou Extreme Gradient Boosting (XGBoost)? Digamos que essa pontuação de confiança varie de 0 a 1 e mostre quão confiante estou em …

11 r  regression  random-forest  prediction  boosting 

Quero implementar o Adaboost usando o Decision Stump. É correto tomar tantas decisões quanto os recursos do nosso conjunto de dados em cada iteração do Adaboost? Por exemplo, se eu tiver um conjunto de dados com 24 recursos, devo ter 24 classificadores de stump de decisão em cada iteração? Ou …

11 machine-learning  classification  cart  boosting 

Eu tenho tentado entender o aumento de gradiente lendo vários blogs, sites e tentando encontrar minha resposta procurando, por exemplo, no código-fonte do XGBoost. No entanto, não consigo encontrar uma explicação compreensível de como algoritmos de aumento de gradiente produzem estimativas de probabilidade. Então, como eles calculam as probabilidades?

11 machine-learning  classification  boosting  ensemble  xgboost 

Na seção 7 do artigo Random Forests (Breiman, 1999), o autor afirma a seguinte conjectura: "Adaboost é uma floresta aleatória". Alguém já provou ou refutou isso? O que foi feito para provar ou refutar este post de 1999?

10 machine-learning  random-forest  boosting 

Eu tenho lido um pouco sobre o aumento de algoritmos para tarefas de classificação e o Adaboost em particular. Entendo que o objetivo do Adaboost é levar vários "alunos fracos" e, por meio de um conjunto de iterações sobre dados de treinamento, forçar os classificadores a aprender a prever as …

10 machine-learning  classification  algorithms  boosting 

Para um exemplo simples, assuma que existem dois modelos de regressão linear Modelo 1 tem três preditores, x1a, x2b, ex2c O modelo 2 possui três preditores do modelo 1 e dois preditores adicionais x2aex2b Existe uma equação de regressão populacional em que a variação populacional explicada é para o Modelo …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

O aumento da árvore de gradiente, conforme proposto por Friedman, usa as árvores de decisão com Jnós terminais (= folhas) como aprendizes base. Existem várias maneiras de cultivar uma árvore com exatamente Jnós, por exemplo, é possível cultivá-la em profundidade primeiro ou em primeiro lugar, ... Existe uma maneira estabelecida …

10 r  cart  boosting 

Eu sei como implementar a função objetivo linear e os reforços lineares no XGBoost. Minha pergunta concreta é: quando o algoritmo se encaixa no residual (ou no gradiente negativo) ele está usando um recurso em cada etapa (ou seja, modelo univariado) ou todos os recursos (modelo multivariado)? Qualquer referência à …

9 regression  machine-learning  boosting  xgboost 

Questões: Qual é a diferença (ões) entre árvores de regressão reforçada (BRT) e modelos impulsionados generalizados (GBM)? Eles podem ser usados ​​de forma intercambiável? Uma é uma forma específica da outra? Por que Ridgeway usou a frase "Generalized Boosted Regression Models" (GBM), para descrever o que Friedman havia proposto anteriormente …

9 machine-learning  boosting  gbm 

Na Floresta Aleatória, cada árvore é cultivada em paralelo em uma amostra exclusiva dos dados. Como se espera que cada amostra do boostrap contenha cerca de 63% das observações exclusivas, isso deixa cerca de 37% das observações de fora, que podem ser usadas para testar a árvore. Agora, parece que …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Percebo que existem 3 parâmetros de ajuste no modelo de árvores de reforço, ou seja, o número de árvores (número de iterações) parâmetro de encolhimento número de divisões (tamanho de cada árvore constituinte) Minha pergunta é: para cada um dos parâmetros de ajuste, como devo encontrar seu valor ideal? E …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm 

Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Pesquisando sobre o algoritmo xgboost, examinei a documentação . Nesta abordagem, as árvores são regularizadas usando a definição de complexidade que e são parâmetros, é o número de folhas terminais e é a pontuação em cada folha. γλTwjΩ ( f) = γT+ 12λ ∑j = 1TW2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T …

9 cart  regularization  boosting  gradient-descent  overfitting 

Para modelos lineares (como regressão linear, regressão logística, etc.), a engenharia de recursos é uma etapa importante para melhorar o desempenho dos modelos. Minha pergunta é: importa se realizamos alguma engenharia de recursos ao usar floresta aleatória ou aumento de gradiente? Concedido que esses modelos não são modelos de aprendizado …

9 machine-learning  random-forest  feature-construction  gbm  boosting 

Estou participando de uma competição no momento. Sei que é meu trabalho fazer isso bem, mas talvez alguém queira discutir meu problema e sua solução aqui, pois isso também pode ser útil para outras pessoas em seu campo. Treinei um modelo xgboost (um modelo baseado em árvore e um linear …

9 machine-learning  boosting  overfitting  bias-correction