Perguntas com a marcação «boosting»

Quais são as semelhanças e diferenças entre estes três métodos: Bagagem, Boosting, Empilhamento? Qual é o melhor? E porque? Você pode me dar um exemplo para cada um?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

O aumento da árvore de gradiente, conforme proposto por Friedman, usa as árvores de decisão como aprendizes básicos. Gostaria de saber se devemos tornar a árvore de decisão básica o mais complexa possível (totalmente crescida) ou mais simples? Existe alguma explicação para a escolha? A floresta aleatória é outro método …

110 machine-learning  random-forest  cart  boosting  ensemble 

Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Breve definição de reforço : Um conjunto de alunos fracos pode criar um único aluno forte? Um aluno fraco é definido como um classificador que é apenas ligeiramente correlacionado com a classificação verdadeira (pode rotular exemplos melhor do que suposições aleatórias). Breve definição de floresta aleatória : Florestas aleatórias crescem …

51 machine-learning  random-forest  boosting  bagging 

Estou tentando entender as diferenças entre o GBM e o Adaboost. Estes são o que eu entendi até agora: Existem dois algoritmos de otimização, que aprendem com os erros do modelo anterior e finalmente fazem uma soma ponderada dos modelos. GBM e Adaboost são bem parecidos, exceto por suas funções …

48 boosting  gbm  adaboost 

Enquanto aprendia sobre o Gradient Boosting, não ouvi nenhuma restrição sobre as propriedades de um "classificador fraco" que o método usa para criar e agrupar modelos. No entanto, eu não conseguia imaginar uma aplicação de um GB que usa regressão linear e, de fato, quando realizei alguns testes - ele …

35 regression  machine-learning  boosting  ensemble  gradient 

Venho acompanhando as competições do Kaggle há muito tempo e percebo que muitas estratégias de vitória envolvem o uso de pelo menos uma das "três grandes" qualidades: empacotar, aumentar e empilhar. Para as regressões, em vez de se concentrar na construção de um melhor modelo de regressão possível, a criação …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Existem várias implementações da família de modelos GBDT, como: GBM XGBoost LightGBM Catboost. Quais são as diferenças matemáticas entre essas diferentes implementações? O Catboost parece ter um desempenho superior às outras implementações, mesmo usando apenas seus parâmetros padrão de acordo com essa marca de referência , mas ainda é muito …

33 boosting  xgboost 

Estou procurando uma explicação de como a importância da variável relativa é calculada nas árvores com gradiente de aumento que não é excessivamente geral / simplista como: As medidas são baseadas no número de vezes que uma variável é selecionada para divisão, ponderada pela melhoria ao quadrado do modelo como …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Quais são algumas diretrizes úteis para testar parâmetros (por exemplo, profundidade de interação, filho pequeno, taxa de amostragem etc.) usando o GBM? Digamos que tenho 70-100 recursos, uma população de 200.000 e pretendo testar a profundidade de interação de 3 e 4. Claramente, preciso fazer alguns testes para ver qual …

31 r  hypothesis-testing  cart  boosting 

Eu tinha uma pergunta sobre o parâmetro de profundidade de interação em gbm em R. Esta pode ser uma pergunta noob, pela qual peço desculpas, mas como o parâmetro, que acredito denota o número de nós terminais em uma árvore, indica basicamente X-way interação entre os preditores? Apenas tentando entender …

30 r  machine-learning  boosting  gbm 

Como exemplo, assumir a função objetivo do modelo XGBoost no 'th iteração:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) onde é a função de perda, é o 'th saída de árvore e é a regularização. Uma das (muitas) etapas principais para o cálculo rápido é a aproximação:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), onde e são a primeira e a …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Veja também uma pergunta semelhante em stats.SE . Ao impulsionar algoritmos como AdaBoost e LPBoost , sabe-se que os alunos "fracos" a serem combinados só precisam ter um desempenho melhor do que o acaso para serem úteis, da Wikipedia: Os classificadores que ele usa podem ser fracos (ou seja, exibem …

28 machine-learning  theory  boosting 

Qual é a maneira mais fácil de entender o reforço? Por que não aumenta classificadores muito fracos "até o infinito" (perfeição)?

23 machine-learning  boosting 

Eu tenho várias perguntas relacionadas a alunos fracos na aprendizagem de grupos (por exemplo, impulsionar). Isso pode parecer idiota, mas quais são os benefícios de usar alunos fracos em oposição a alunos fortes? (por exemplo, por que não aumentar com métodos de aprendizado "fortes"?) Existe algum tipo de força "ideal" …

22 machine-learning  boosting  ensemble