Grosso modo, parte do potencial excesso de ajuste que pode acontecer em uma única árvore (que é uma razão para a remoção geralmente) é atenuada por duas coisas em uma Floresta Aleatória:
- O fato de que as amostras usadas para treinar as árvores individuais são "inicializadas".
- O fato de você ter várias árvores aleatórias usando recursos aleatórios e, portanto, as árvores individuais serem fortes, mas não tão correlacionadas entre si.
Editar: com base no comentário do OP abaixo:
Definitivamente, ainda há potencial para excesso de ajuste. Quanto aos artigos, você pode ler sobre a motivação para "ensacamento" de Breiman e "bootstrapping" em geral por Efron e Tibshirani. No que diz respeito a 2., Brieman derivou um limite limitado de erro de generalização relacionado à força das árvores e à anti-correlação dos classificadores individuais. Ninguém usa o limite (provavelmente), mas tem como objetivo fornecer intuição sobre o que ajuda a erros de generalização baixos em métodos de ensemble. Isso está no próprio jornal Random Forests. Meu post foi para empurrá-lo na direção certa, com base nessas leituras e na minha experiência / deduções.
- Breiman, L., Preditores de ensacamento, aprendizado de máquina, 24 (2), pp.123-140, 1996.
- Efron, B .; Tibshirani, R. (1993). Uma introdução ao Bootstrap. Boca Raton, Flórida
- Breiman, Leo (2001). "Florestas aleatórias". Aprendizado de máquina 45 (1): 5–32.