Posso combinar muitas árvores de aumento de gradiente usando a técnica de ensacamento

Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações.

Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado final?

É equivalente a construir uma floresta aleatória usando o GBDT como o aluno base

A ideia é que, o GBDT possa super-ajustar o conjunto de dados (semelhante ao crescimento total da árvore de decisão, baixa variação e alta variação). Espero que o uso da técnica de ensacamento também possa reduzir esse problema e desejar obter melhor desempenho.

Alguma sugestão?

Sim você pode. Ensacamento como técnica não depende de uma única árvore de classificação ou regressão como aprendiz de base; você pode fazer isso com qualquer coisa, embora muitos alunos de base (por exemplo, regressão linear) tenham menos valor que outros. O artigo de agregação de inicialização na Wikipedia contém um exemplo de ensacamento de LOESS smoothers em dados de ozônio.

No entanto, se você o fizesse, certamente não desejaria usar os mesmos parâmetros que um GBM único totalmente ajustado. Uma grande parte do ponto de ajustar um GBM é evitar o ajuste excessivo; o empacotamento reduz o ajuste excessivo por meio de um mecanismo diferente; portanto, se o GBM ajustado não se adequar muito, o empacotamento provavelmente também não ajudará muito - e, como é provável que você precise de centenas de árvores para empacotar com eficiência, seu tempo de execução aumentará um fator de várias centenas também. Portanto, agora você tem dois problemas - como ajustar o GBM, uma vez que ele está incorporado em uma floresta aleatória (embora provavelmente não seja tão importante fazê-lo corretamente, já que está incorporado em uma floresta aleatória) e o problema de tempo de execução.

Tendo escrito tudo isso, é verdade que o pensamento do tipo ensacamento pode ser lucrativamente integrado ao GBM, embora de uma maneira diferente. O H20, por exemplo, fornece a opção de desenvolver cada árvore da sequência de árvores GBM em uma amostra aleatória dos dados de treinamento. Essa amostra é feita sem substituição, pois acredita-se que a amostragem com substituição faça com que a árvore resultante superaqueça as partes da amostra que foram repetidas. Essa abordagem foi explicitamente motivada pelo procedimento de "ensacamento adaptável" de Breiman; consulte o artigo Estocástico de 1999 do Friedman para aumentar detalhes