Entendendo a regressão SVM: função objetivo e “nivelamento”

SVMs para classificação fazem sentido intuitivamente para mim: eu entendo como minimizar $||\theta||^2$ produz a margem máxima. No entanto, não entendo esse objetivo no contexto de regressão. Vários textos ( aqui e aqui ) descrevem isso como maximização da "planicidade". Por que queremos fazer isso? O que em regressão é equivalente ao conceito de "margem"?

Aqui estão algumas respostas tentadas, mas nenhuma que realmente ajudou a minha compreensão.

regression svm

— Yang
fonte

Eu não estou realmente de acordo com a teoria SVM, mas o 'nivelamento' na discussão sobre máquinas-kernel ao qual você vincula parece totalizar: 'possui pequena segunda derivada' (pense na motivação típica para modelos de suavização de spline).

— conjugateprior

Respostas:

Uma maneira de pensar sobre o nivelamento é que ele torna minhas previsões menos sensíveis a perturbações nos recursos. Ou seja, se estou construindo um modelo com a forma onde meu vetor de característica já foi normalizado, valores menores em significam que meu modelo é menos sensível a erros de medição / choques aleatórios / não - estacionariedade dos recursos, . Dados dois modelos ( isto é, dois valores possíveis de ) que explicam os dados igualmente bem, eu prefiro o mais "plano".

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Você também pode pensar em Ridge Regression como executando a mesma coisa sem o truque do kernel ou a formulação de regressão 'tube' do SVM.

edit : Em resposta aos comentários de @ Yang, mais algumas explicações:

Considere o caso linear: . Suponha que sejam extraídos de alguma distribuição, independentemente de . Pela identidade do produto escalar, temos , onde é o ângulo entre e , provavelmente distribuído sob uma distribuição esférica uniforme. Agora observe: o 'spread' ( por exemplo, o desvio padrão da amostra) de nossas previsões de $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ é proporcional a. Para obter um bom MSE com as versões latentes e silenciosas de nossas observações, queremos reduzir isso. cfestimador James Stein. $y$ $||\theta||$ $||\theta||$
Considere o caso linear com muitos recursos. Considere a modelos , e . Se possui mais zero elementos do que , mas aproximadamente o mesmo poder explicativo, nós o preferiríamos, com base na lâmina de Occam, uma vez que possui dependências em menos variáveis ( ou seja , 'fizemos a seleção de recursos' definindo alguns elementos de a zero). A planicidade é uma espécie de versão contínua desse argumento. Se cada marginal de $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ possui desvio padrão unitário e possui, por exemplo, 2 elementos que são 10 e o restante é menor que 0,0001, dependendo da sua tolerância ao ruído, isso efetivamente 'seleciona' os dois recursos e zera os restantes. . $\theta_1$ $n-2$
Quando o truque do kernel é empregado, você está executando uma regressão linear em um espaço vetorial dimensional alto (às vezes infinito). Cada elemento de agora corresponde a uma de suas amostras , não a seus recursos . Se elementos de são diferentes de zero, e o restante é igual a zero, os recursos correspondentes aos elementos diferentes de zero de são chamados de 'vetores de suporte'. Para armazenar seu modelo SVM, digamos em disco, você precisa apenas manter esses vetores de recursos e jogar o restante deles fora. Agora, o nivelamento realmente importa, porque ter $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ pequeno reduz os requisitos de armazenamento e transmissão, etc. Novamente, dependendo da sua tolerância ao ruído, você provavelmente pode zerar todos os elementos de mas o maior, para alguns , após executar uma regressão SVM. A planicidade aqui é equivalente à parcimônia em relação ao número de vetores de suporte. $\theta$ $l$ $l$

— shabbychef
fonte

então isso é basicamente regressão com uma função de perda de 'tubo' (penalidade 0 para pontos +/- epsilon da previsão) em vez da função de perda quadrática do OLS?

— conjugateprior

@Conjugate Prior: sim, normalmente a regressão do kernel minimiza a função 'perda insensível a epsilon', que você pode considerar como

veja, por exemplo, kernelsvm.tripod.com ou qualquer outro documento por Smola et al .

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

— shabbychef # 01

@shabbychef Obrigado. Eu sempre me perguntei o que estava acontecendo lá.

— conjugateprior

@Conjugate Prior: Eu não acho que essa seja realmente a função de perda desejada, mas a matemática acaba funcionando bem, então eles correram com ela. Pelo menos é a minha suspeita.

— Shabbychef

@shabbychef: Eu ainda estou perdido. Considere o caso unidimensional:

. Tudo o que

minimiza é fornecer uma linha mais horizontal . Parece não ter nada a ver com a segunda derivada, à qual acho que você está se referindo ("suavidade"). E se meus pontos de amostra são (0,0) e (1,1e9), por que eu preferiria uma linha mais plana? Ou seja, dizer o meu

tolerância é 1 - por que eu iria preferir a linha mais plana de (0,0) para (1,1e9-1) (

) em vez da linha a (1,1e9) (

) ou a linha através de (1,1e9 + 1) (

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

— Yang

shabbychef deu uma explicação muito clara da perspectiva da complexidade do modelo. Vou tentar entender esse problema de outro ponto de vista, caso possa ajudar alguém.

Basicamente, queremos maximizar a margem no SVC. É o mesmo no SVR, enquanto queremos maximizar o erro de previsão em uma precisão definida para uma melhor generalização. Aqui, se minimizarmos o erro de previsão em vez de maximizar, é mais provável que o resultado da previsão em dados desconhecidos seja super adaptado. Vamos pensar no "maximizar o erro de previsão" no caso unidimensional. $e$

No caso unidimensional, nosso objetivo é maximizar as distâncias de todos os pontos até a linha de tendência dentro de . Observe que definimos a restrição da precisão como para que possamos maximizar a distância, e não minimizar . Então vamos dar uma olhada na equação muito simples da distância de um ponto a uma linha. $(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

No momento, o numerador está limitado a . Para maximizar a distância, o que tentamos fazer é minimizar . $e$ $\omega$

Qualquer pessoa pode estender facilmente o caso unidimensional para o caso N-dimensional, pois a equação da distância será sempre a distância euclidiana .

Além disso, podemos ter uma revisão sobre o problema de otimização no SVR para a comparação [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Obrigado.

[1] Smola, A. e B. Schölkopf. Um tutorial sobre regressão de vetores de suporte. Estatística e Computação, vol. 14, nº 3, agosto de 2004, pp. 199–222.

— oloopy
fonte

At least, I don't think minimizing $\theta$ has anything to do with the concept margin as in a SVM classification setting. It serves for a totally different goal that is well explained by the above two posts, i.e., reducing model complexity and avoiding overfitting.

— lynnjohn
fonte