Perguntas com a marcação «boosting»

Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações. Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado final? É equivalente a …

8 random-forest  cart  boosting  bagging  gradient 

Podemos generalizar todos os métodos de conjunto usando votação? Os métodos de reforço também usam o voto para colocar os alunos fracos no modelo final? Minha compreensão da técnica: Impulsionar: adiciona continuamente um aluno fraco para aumentar os pontos de dados que não foram classificados corretamente. Técnica do conjunto: usa …

8 machine-learning  boosting  ensemble  gbm  voting-system 

Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de dados …

8 machine-learning  boosting  out-of-sample 

Algoritmos de reforço, como o AdaBoost , combinam vários classificadores 'fracos' para formar um único classificador mais forte. Embora em teoria o aumento deva ser possível com qualquer classificador de base, na prática parece que os classificadores baseados em árvore são os mais comuns. Por que é isso? Quais propriedades …

8 machine-learning  boosting  ensemble 

Este é um problema de classificação binária. A métrica que está sendo minimizada é a perda de log (ou entropia cruzada). Eu também tenho um número de precisão, apenas para minhas informações. É um conjunto de dados grande e muito equilibrado. Técnicas de previsão muito ingênuas obtêm cerca de 50% …

7 machine-learning  prediction  boosting 

Digamos que você treine dois modelos diferentes do Gradient Boosting Classifier em dois conjuntos de dados diferentes. Você usa a validação cruzada de exclusão única e plota os histogramas de previsões que os dois modelos produzem. Os histogramas são assim: e isto: Portanto, em um caso, as previsões (em conjuntos …

7 classification  cart  boosting  xgboost