Os algoritmos da árvore de decisão são lineares ou não lineares

Recentemente, um amigo meu foi questionado se os algoritmos da árvore de decisão são lineares ou não-lineares em uma entrevista. Tentei procurar respostas para essa pergunta, mas não consegui encontrar nenhuma explicação satisfatória. Alguém pode responder e explicar a solução para esta pergunta? Além disso, quais são alguns outros exemplos de algoritmos não lineares de aprendizado de máquina?

Uma árvore de decisão é um mapeamento não linear de Xpara y. É fácil ver se você assume uma função arbitrária e cria uma árvore na sua profundidade máxima.

Por exemplo:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Obviamente, essa é uma árvore completamente ajustada e não generaliza. Mas demonstra por que uma árvore de decisão é um mapeamento não linear.

Recentemente, um amigo meu foi questionado se o algoritmo da árvore de decisão é um algoritmo linear ou não linear em uma entrevista

As árvores de decisão são um classificador não linear como as redes neurais, etc. É geralmente usado para classificar dados não linearmente separáveis.

Mesmo quando você considera o exemplo de regressão, a árvore de decisão não é linear.

Por exemplo, uma linha de regressão linear ficaria assim:

Os pontos vermelhos são os pontos de dados.

E um gráfico de regressão da árvore de decisão seria algo como isto:

Então, claramente as árvores de decisão não são lineares

As árvores de decisão não são lineares. Ao contrário da regressão linear, não há equação para expressar relação entre variáveis ​​independentes e dependentes.

Ex:

Regressão linear - Preço da fruta = b0 + b1 * Frescura + b2 * Tamanho

Árvore de decisão - Nós: Maduros - Sim ou não | Fresco - Sim ou Não | Tamanho - <5,> 5, mas <10 e> 10 |

No segundo caso, não há relação linear entre variáveis ​​independentes e dependentes.

Como muitos apontaram, uma árvore de regressão / decisão é um modelo não linear. Observe, no entanto, que é um modelo linear por partes : em cada vizinhança (definida de maneira não linear), é linear. De fato, o modelo é apenas uma constante local.

$\theta$

$1(A)$

$VC$$2^d$$d$$2^{2^d}$$m$$d$$min(2^d, m)$ID3C4.5