Perguntas com a marcação «boosting»

Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Para aumentar os algoritmos, eu diria que eles evoluíram muito bem. No início de 1995, o AdaBoost foi introduzido e, depois de algum tempo, era o Gradient Boosting Machine (GBM). Recentemente, foi lançado o XGBoost, por volta de 2015, que é preciso, lida com o excesso de ajustes e se …

14 random-forest  boosting  bagging 

Como ouvi falar do classificador AdaBoost mencionado repetidamente no trabalho, queria ter uma idéia melhor de como ele funciona e quando alguém pode usá-lo. Fui em frente e li vários artigos e tutoriais que encontrei no Google, mas há aspectos do classificador que ainda estou tendo problemas para entender: A …

14 machine-learning  boosting  adaboost 

Existe uma variante de reforço chamada gentleboost . Como o impulso suave difere do AdaBoost mais conhecido ?

14 machine-learning  boosting 

Na verdade, eu pensei que tinha entendido o que se pode mostrar com um gráfico de dependência parcial, mas usando um exemplo hipotético muito simples, fiquei bastante confuso. No seguinte pedaço de código que geram três variáveis independentes ( a , b , c ) e uma variável dependente ( …

14 r  random-forest  boosting  partial-plot 

Estou tentando aumentar o gradiente em um conjunto de dados com taxa de eventos de cerca de 1% usando o Enterprise miner, mas está falhando em produzir qualquer saída. Minha pergunta é: como é uma abordagem baseada em árvore de decisão, é correto usar o aumento de gradiente com um …

14 boosting  unbalanced-classes  rare-events  gradient 

Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os modelos de dados (paramétricos) porque eles se baseiam na …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem. Então, por que não os usamos o tempo todo? Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então eu não sei).

13 boosting  ensemble  bagging 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 4 meses . Existe uma boa biblioteca python para o treinamento de árvores de decisão aprimoradas?

13 python  cart  boosting 

Ao codificar recursos categóricos para regressão linear, existe uma regra: o número de manequins deve ser um a menos que o número total de níveis (para evitar colinearidade). Existe uma regra semelhante para as Árvores de Decisão (ensacadas, reforçadas)? Estou perguntando isso, porque uma prática padrão em Python parece ser …

13 categorical-data  random-forest  cart  boosting 

À medida que descubro o aprendizado de máquina, vejo diferentes técnicas interessantes, como: ajustar algoritmos automaticamente com técnicas como grid search, obtenha resultados mais precisos através da combinação de algoritmos diferentes do mesmo "tipo", ou seja boosting, obtenha resultados mais precisos através da combinação de algoritmos diferentes (mas não do …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Encontrei muitos artigos que afirmam que os métodos de aumento são sensíveis a valores discrepantes, mas nenhum artigo explica o porquê. Na minha experiência, os valores extremos são ruins para qualquer algoritmo de aprendizado de máquina, mas por que os métodos de aumento são particularmente sensíveis? Como os seguintes algoritmos …

12 machine-learning  svm  outliers  cart  boosting 

Eu faria uma pergunta relacionada a este . Encontrei um exemplo de como escrever a função de perda personalizada para o xgboost aqui : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Eu sei que o Adaboost tenta gerar um classificador forte usando uma combinação linear de um conjunto de classificadores fracos. No entanto, li alguns artigos sugerindo que o Adaboost e os SVMs trabalham em harmonia (embora o SVM seja um classificador forte) em determinadas condições e casos . Não consigo …

11 classification  svm  references  boosting 

Esta é a função de perda de desvio binomial do scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: …

11 machine-learning  scikit-learn  boosting  loss-functions