Estou tentando entender as diferenças entre o GBM e o Adaboost.

Estes são o que eu entendi até agora:

• Existem dois algoritmos de otimização, que aprendem com os erros do modelo anterior e finalmente fazem uma soma ponderada dos modelos.
• GBM e Adaboost são bem parecidos, exceto por suas funções de perda.

Mas ainda é difícil para mim ter uma idéia das diferenças entre eles. Alguém pode me dar explicações intuitivas?

Eu descobri que esta introdução pode fornecer algumas explicações intuitivas.

• No aumento de gradiente, as 'deficiências' (dos alunos fracos existentes) são identificadas por gradientes .
• No Adaboost, as 'deficiências' são identificadas por pontos de dados de alto peso .

No meu entendimento, a perda exponencial do Adaboost fornece mais pesos para as amostras ajustadas pior. De qualquer forma, o Adaboost é considerado como um caso especial de reforço de gradiente em termos de função de perda, conforme mostrado na história do reforço de gradiente fornecida na introdução.

1. Invente o Adaboost, o primeiro algoritmo de impulso bem-sucedido [Freund et al., 1996, Freund e Schapire, 1997]
2. Formule Adaboost como descida de gradiente com uma função de perda especial [Breiman et al., 1998, Breiman, 1999]
3. Generalize o Adaboost ao Gradient Boosting para lidar com uma variedade de funções de perda [Friedman et al., 2000, Friedman, 2001]

Uma explicação intuitiva do algoritmo AdaBoost

Deixe-me aproveitar a excelente resposta de @ Randel com uma ilustração do seguinte ponto

---

• No Adaboost, as 'deficiências' são identificadas por pontos de dados de alto peso

Resumo do AdaBoost

$G_m(x) \ m = 1,2,...,M$

$$G(x) = \text{sign} \left( \alpha_1 G_1(x) + \alpha_2 G_2(x) + ... \alpha_M G_M(x)\right) = \text{sign} \left( \sum_{m = 1}^M \alpha_m G_m(x)\right)$$

• A previsão final é uma combinação das previsões de todos os classificadores por meio de uma votação majoritária ponderada

• $\alpha_m$$G_m(x)$

• $w_1, w_2,...,w_N$$m$
• $m=1$$w_i = 1 / N$

AdaBoost em um exemplo de brinquedo

$M = 10$

Visualizando a sequência de alunos fracos e os pesos da amostra

$m = 1,2...,6$

Primeira iteração:

• O limite de decisão é muito simples (linear), pois são aprendizes fracos
• Todos os pontos são do mesmo tamanho, conforme o esperado
• 6 pontos azuis estão na região vermelha e são classificados incorretamente

Segunda iteração:

• O limite de decisão linear mudou
• Os pontos azuis previamente classificados incorretamente agora são maiores (maior peso_ amostral) e influenciaram o limite de decisão
• 9 pontos azuis agora são classificados incorretamente

Resultado final após 10 iterações

$\alpha_m$

([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...

Como esperado, a primeira iteração tem o maior coeficiente, pois é a que apresenta menos classificações incorretas.

Próximos passos

Uma explicação intuitiva do aumento de gradiente - a ser concluída

Fontes e leituras adicionais:

• código python e figuras originais aqui
• https://www.cs.cmu.edu/~aarti/Class/10701/slides/Lecture10.pdf