Qual a diferença entre a Regressão do vetor de suporte e a SVM?

Eu sei o básico sobre SVM e SVR, mas ainda não entendi como o problema de encontrar um hiperplano que maximize a margem se encaixa no SVR.

Segundo, li algo sobre usado como margem de tolerância no SVR. O que isso significa? $\epsilon$

Terceiro, existe alguma diferença entre os parâmetros da função de decisão usados no SVM e no SVR?

regression machine-learning svm

— encodeflush
fonte

Fiz uma tentativa de explicá-lo de uma maneira pictórica, usando a vista lateral stats.stackexchange.com/questions/82044/…

— Lejafar

O SVM, tanto para classificação quanto para regressão, visa otimizar uma função por meio de uma função de custo, no entanto, a diferença está na modelagem de custos.

Considere esta ilustração de uma máquina de vetores de suporte usada para classificação.

Como nosso objetivo é uma boa separação das duas classes, tentamos formular um limite que deixe uma margem tão ampla quanto possível entre as instâncias mais próximas a ele (vetores de suporte), sendo possíveis as instâncias que caem nessa margem. incorrendo em um alto custo (no caso de uma margem suave SVM).

No caso de regressão, o objetivo é encontrar uma curva que minimize o desvio dos pontos. Com o SVR, também usamos uma margem, mas com um objetivo totalmente diferente - não nos importamos com instâncias que se encontrem dentro de uma certa margem ao redor da curva, porque a curva se encaixa um pouco bem. Essa margem é definida pelo parâmetro do SVR. Instâncias que caem dentro da margem não incorrem em nenhum custo, é por isso que nos referimos à perda como 'insensível ao epsilon'. $\epsilon$

$\xi_+, \xi_-$ $\epsilon$

Isso nos dá o problema de otimização (consulte E. Alpaydin, Introdução ao Machine Learning, 2ª Edição)

m i n \frac{1}{2} | | w | |^{2} + C \sum_{t} (ξ_{+} + ξ_{-})

$min \frac{1}{2} ||w||^2 + C\sum_{t} (\xi_+ + \xi_-)$

sujeito a

r^{t} - (w^{T} x + w_{0}) \leq ϵ + ξ_{+}^{t} (w^{T} x + w_{0}) - r^{t} \leq ϵ + ξ_{-}^{t} ξ_{+}^{t}, ξ_{-}^{t} \geq 0

$r^t - (\textbf{w}^T \textbf{x} + w_0) \leq \epsilon + \xi_{+}^{t}\\ (\textbf{w}^T \textbf{x} + w_0)-r^t \leq \epsilon + \xi_{-}^{t}\\ \xi_{+}^{t},\xi_{-}^{t} \geq 0$

Instâncias fora da margem de uma regressão SVM incorrem em custos na otimização, portanto, visando minimizar esse custo como parte da otimização refina nossa função de decisão, mas, na verdade , não maximiza a margem, como seria o caso na classificação SVM.

Isso deveria ter respondido as duas primeiras partes da sua pergunta.

$\epsilon$ $C$ $\gamma$

— deemel
fonte