Por que o termo de viés no SVM é estimado separadamente, em vez de uma dimensão extra no vetor de recurso?

O hiperplano ideal no SVM é definido como:

w \cdot x + b = 0,

$\mathbf w \cdot \mathbf x+b=0,$

onde representa o limite. Se tivermos algum mapeamento que mapeia o espaço de entrada para algum espaço , podemos definir SVM no espaço , onde o hiperplano ideal será: $b$ $\mathbf \phi$ $Z$ $Z$

w \cdot ϕ (x) + b = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0.$

No entanto, sempre podemos definir mapeamento para que , , e o hiperplano ideal seja definido como $\phi$ $\phi_0(\mathbf x)=1$ $\forall \mathbf x$

w \cdot ϕ (x) = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)=0.$

Questões:

Por que muitos artigos usam quando eles já têm mapeamento e estimam parâmetros limiar separadamente? $\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$ $\phi$ $\mathbf w$ $b$
Existe algum problema para definir SVM como estimamos apenas o vetor de parâmetros , assumindo que definimos ?
$min_{w} | | w | |^{2}$ $\min_{\mathbf w} ||\mathbf w ||^2$ $s . t . y_{n} w \cdot ϕ (x_{n}) \geq 1, \forall n$ $s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$ $\mathbf w$ $\phi_0(\mathbf x)=1, \forall\mathbf x$
Se a definição de SVM da pergunta 2. for possível, teremos $\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$ e o limite será simplesmente $b=w_0$ , que não trataremos separadamente. Portanto, nunca usaremos a fórmula como $b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$ para estimar $b$ de algum vetor de suporte $x_n$ . Direita?

svm threshold

— Dejan
fonte

Relacionado: Razão para não reduzir o termo de viés (interceptação) na regressão .

— Ameba diz Reinstate Monica

Respostas:

Por que o viés é importante?

O termo de viés é, de fato, um parâmetro especial no SVM. Sem ele, o classificador sempre passará pela origem. Portanto, o SVM não fornece o hiperplano de separação com a margem máxima, se não passar pela origem, a menos que você tenha um termo de viés. $b$

Abaixo está uma visualização do problema de viés. Um SVM treinado com (sem) um termo de viés é mostrado à esquerda (direita). Embora os dois SVMs sejam treinados com os mesmos dados , eles parecem muito diferentes.

Por que o viés deve ser tratado separadamente?

Como Ben DAI apontou, o termo de viés deve ser tratado separadamente por causa da regularização. O SVM maximiza o tamanho da margem, que é (ou dependendo de como você o define). $b$ $\frac{1}{||w||^2}$ $\frac{2}{||w||^2}$

Maximizar a margem é o mesmo que minimizar . Isso também é chamado de termo de regularização e pode ser interpretado como uma medida da complexidade do classificador. No entanto, você não deseja regularizar o termo de viés porque, o viés altera as pontuações da classificação para cima ou para baixo na mesma quantidade para todos os pontos de dados . Em particular, o viés não altera a forma do classificador ou seu tamanho da margem. Portanto, ... $||w||^2$

o termo de viés no SVM NÃO deve ser regularizado.

Na prática, no entanto, é mais fácil inserir o viés no vetor de recursos, em vez de precisar lidar com um caso especial.

Nota: ao empurrar o viés para a função de recurso, é melhor fixar essa dimensão do vetor de recurso em um número grande, por exemplo, , para minimizar os efeitos colaterais da regularização do viés. $\phi_0(x) = 10$

— Sobi
fonte

Qual programa você usou para gerar as parcelas, por curiosidade?

— precisa saber é o seguinte

@ d0rmLife: este é apenas um desenho animado que eu fiz usando o MS PowerPoint!

— Sobi 9/12/2015

+1. Relacionado: Razão para não reduzir o termo de viés (interceptação) na regressão .

— Ameba diz Reinstate Monica

Às vezes, as pessoas simplesmente omitem a interceptação no SVM, mas acho que a razão pela qual talvez possamos penalizar a interceptação para omitir isso. ou seja,

podemos modificar os dados e para omitir a interceptação Como você dito, técnica semelhante pode ser usada na versão do kernel. $\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$ $\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

x w + b = \hat{x} \hat{w}

$\mathbf{x} ~ \mathbf{w} + b = \mathbf{\hat{x}} ~ \mathbf{\hat{w}}$

No entanto, se colocarmos a interceptação nos pesos, a função objetivo será ligeiramente diferente da original. É por isso que chamamos de "penalizar".

— Ben Dai
fonte

Concordo que teremos diferentes funções objetivas. O caso em que não incluímos a interceptação nos parâmetros leva ao problema de otimização sujeito a restrições, enquanto, caso contrário, temos o problema . Mas não entendo por que a interceptação de panalização é mais ou menos importante para o modelo.

b

$b$

min_{w, b} | | w | |^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2$

min_{w, b} | | w | |^{2} + b^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2 + b^2$

— Dejan

O que me vem à cabeça é que a principal razão pela qual cruzamos é talvez porque, em um problema duplo, a interceptação nos permite ter uma restrição que é importante para aplicar o algoritmo SMO e, se não tivermos interceptado, terá apenas constantes e a otimização dupla seria mais difícil nesse caso.

\sum α_{n} t_{n} = 0

$\sum \alpha_n t_n=0$

α_{n} \geq 0

$\alpha_n\geq 0$

— Dejan

@Petar Uma coisa que eu sabia é que ela se torna poderosa quando consideramos a forma Dual deste modelo. Esta técnica eliminará a restrição linear.

— Ben Dai

@Petar Não acho que a otimização dupla seja mais difícil, pois temos domínio mais fácil.

— Ben Dai

@Petar Para algoritmos específicos, pode ser mais difícil. No entanto, matematicamente, eu acho que de domínio caixa talvez melhor:)

— Ben Dai

Além das razões mencionadas acima, a distância de um ponto a um hiperplano definido pela inclinação e interceptação é É assim que o conceito de margem no SVM é movido. Se você alterar para incluir o termo de interceptação , a norma será afetada pelo tamanho da interceptação, o que fará com que o SVM seja otimizado para uma pequena interceptação, o que não faz sentido em muitos casos. $x$ $\theta$ $b$

\frac{| θ^{T} x + b |}{| | θ | |}

$\frac{|\theta^T x + b|}{||\theta||}$

θ

$\theta$

b

$b$

θ

$\theta$

— charlieh_7
fonte

Mesmo que a distância de um ponto a um hiperplano esteja correta e a explicação pareça interessante, não vejo correlação entre essa fórmula e os SVMs de treinamento. Você pode explicar melhor como essa fórmula está usando durante o treinamento ou fornecer algum link adicional.

— Dejan

@Dejan A idéia por trás de um SVM é encontrar o hiperplano que maximize a margem mínima de um conjunto de dados. A margem é a "distância" ( , sem assumir valor absoluto, o que indica a confiança que o classificador tem em relação a sua hipótese) desse ponto para o hiperplano vezes seu rótulo, que está em . O produto é , que é positivo se a saída do classificador corresponder ao rótulo e negativo, caso contrário. Na prática, simplesmente escalamos nosso modelo para que a margem mínima do conjunto de dados seja .

\frac{θ^{T} x + b}{| | θ | |}

$\frac{\theta^T x + b}{||\theta||}$

{- 1, 1}

$\{-1, 1\}$

\frac{y (θ^{T} x + b)}{| | θ | |}

$\frac{y(\theta^T x + b)}{||\theta||}$

\frac{1}{| | θ | |}

$\frac{1}{||\theta||}$

— Charlieh_7 02/08/19

@Dejan você pode encontrar mais detalhes em Notas de Andrew Ng: cs229.stanford.edu/notes/cs229-notes3.pdf

— charlieh_7