Por que nem sempre usar a aprendizagem em conjunto?

Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem.

Então, por que não os usamos o tempo todo?

Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então eu não sei).

Em geral, não é verdade que sempre terá um desempenho melhor. Existem vários métodos de conjunto, cada um com suas próprias vantagens / fraquezas. Qual deles usar e depois depende do problema em questão.

Por exemplo, se você possui modelos com alta variação (eles se ajustam demais aos seus dados), é provável que você se beneficie do uso de ensacamento. Se você possui modelos tendenciosos, é melhor combiná-los com o Boosting. Existem também estratégias diferentes para formar conjuntos. O tópico é amplo demais para cobrir uma resposta.

Mas o que quero dizer é: se você usar o método de conjunto errado para a sua configuração, não fará melhor. Por exemplo, usar o Bagging com um modelo tendencioso não ajuda.

Além disso, se você precisar trabalhar em um cenário probabilístico, os métodos de ensemble também podem não funcionar. É conhecido que o aumento (em suas formas mais populares como AdaBoost) fornece estimativas de probabilidade pobres. Ou seja, se você gostaria de ter um modelo que permita raciocinar sobre seus dados, não apenas a classificação, você pode se sair melhor com um modelo gráfico.