Por que Adaboost com árvores de decisão?

Eu tenho lido um pouco sobre o aumento de algoritmos para tarefas de classificação e o Adaboost em particular. Entendo que o objetivo do Adaboost é levar vários "alunos fracos" e, por meio de um conjunto de iterações sobre dados de treinamento, forçar os classificadores a aprender a prever as classes nas quais os modelos cometem erros repetidamente. No entanto, eu queria saber por que tantas das leituras que fiz utilizaram as árvores de decisão como o classificador fraco. Existe uma razão específica para isso? Existem alguns classificadores que são candidatos particularmente bons ou ruins ao Adaboost?

Eu falei sobre isso em uma resposta a uma pergunta SO relacionada . As árvores de decisão geralmente são muito boas para impulsionar, muito mais do que outros algoritmos. O ponto de marcador / versão de resumo é este:

1. As árvores de decisão não são lineares. Impulsionar com modelos lineares simplesmente não funciona bem.
2. O aluno fraco precisa ser consistentemente melhor do que a adivinhação aleatória. Você normalmente não precisa fazer nenhum ajuste de parâmetro em uma árvore de decisão para obter esse comportamento. Treinar um SVM realmente precisa de uma pesquisa de parâmetros. Como os dados são ponderados novamente em cada iteração, você provavelmente precisará fazer outra pesquisa de parâmetro em cada iteração. Então você está aumentando a quantidade de trabalho que precisa realizar por uma grande margem.
3. As árvores de decisão são razoavelmente rápidas de treinar. Como vamos construir centenas ou milhares deles, é uma boa propriedade. Eles também são rápidos de classificar, o que é novamente importante quando você precisa de 100 ou 1000 para executar antes de poder emitir sua decisão.
4. Ao alterar a profundidade, você tem um controle simples e fácil sobre a compensação de desvio / variação, sabendo que o aumento pode reduzir o desvio, mas também reduz significativamente a variação. Sabe-se que o impulso é superestimado, portanto o nob fácil de ajustar é útil nesse sentido.

Eu não tenho uma resposta em livro. No entanto, aqui estão alguns pensamentos.

O aumento pode ser visto em comparação direta com ensacamento. Essas são duas abordagens diferentes do dilema de compensação de variação de polarização. Embora o ensacamento tenha como alunos fracos, alguns alunos com viés baixo e alta variação, calculando a média do conjunto de ensacamentos, diminuem a variação para um pequeno viés. Aumentar, por outro lado, funciona bem com diferentes alunos fracos. Os alunos fracos que impulsionam têm alto viés e baixa variação. Ao formar um aluno em cima de outro, o conjunto estimulante tenta diminuir o viés, por um pouco de variação.

Como conseqüência, se você considerar, por exemplo, usar ensacamento e reforço de árvores como alunos fracos, a melhor maneira de usar é árvores pequenas / curtas com reforço e árvores muito detalhadas com ensacamento. É por isso que, muitas vezes, um procedimento de reforço usa um coto de decisão como aluno fraco, que é a árvore mais curta possível (uma única condição se em uma única dimensão). Esse coto de decisão é muito estável e, portanto, apresenta uma variação muito baixa.

Não vejo nenhuma razão para usar árvores com procedimentos de reforço. No entanto, árvores curtas são simples, fáceis de implementar e fáceis de entender. No entanto, acho que, para ter sucesso com um procedimento de reforço, seu aluno fraco precisa ter baixa variação, deve ser rígido, com muito poucos graus de liberdade. Por exemplo, não vejo sentido em ter como aluno fraco uma rede neural.

Além disso, você deve observar que, para algum tipo de procedimento de aumento, aumento de gradiente, por exemplo, Breiman descobriu que, se o aluno fraco é uma árvore, alguma otimização na maneira como o aumento de desempenho pode ser feito. Assim, temos árvores que aumentam gradualmente. Há uma boa exposição ao aumento no livro da ESTL.