Como é que uma máquina de suporte vetorial (SVM) trabalho, eo que o diferencia de outros classificadores lineares, como o Perceptron Linear , Linear Análise discriminante , ou regressão logística ? *

(* Estou pensando em termos das motivações subjacentes ao algoritmo, estratégias de otimização, recursos de generalização e complexidade do tempo de execução )

As máquinas de vetores de suporte se concentram apenas nos pontos mais difíceis de distinguir, enquanto outros classificadores prestam atenção a todos os pontos.

A intuição por trás da abordagem da máquina de vetores de suporte é que, se um classificador for bom nas comparações mais desafiadoras (os pontos em B e A mais próximos um do outro na Figura 2), o classificador será ainda melhor nas comparações fáceis ( pontos de comparação em B e A que estão distantes um do outro).

Perceptrons e outros classificadores:

Perceptrons são construídos tomando um ponto de cada vez e ajustando a linha divisória de acordo. Assim que todos os pontos são separados, o algoritmo perceptron para. Mas poderia parar em qualquer lugar. A Figura 1 mostra que existem várias linhas divisórias que separam os dados. O critério de parada do perceptron é simples: "separe os pontos e pare de melhorar a linha quando você conseguir 100% de separação". O perceptron não é informado explicitamente para encontrar a melhor linha de separação. Regressão logística e modelos discriminantes lineares são construídos de maneira semelhante aos perceptrons.

A melhor linha divisória maximiza a distância entre os pontos B mais próximos de A e os pontos A mais próximos de B. Não é necessário examinar todos os pontos para fazer isso. De fato, a incorporação de feedback de pontos distantes pode levar a linha um pouco longe demais, como visto abaixo.

Máquinas de vetores de suporte:

Ao contrário de outros classificadores, a máquina de vetores de suporte é explicitamente instruída a encontrar a melhor linha de separação. Quão? A máquina de vetores de suporte procura os pontos mais próximos (Figura 2), que chama de "vetores de suporte" (o nome "máquina de vetores de suporte" se deve ao fato de que os pontos são como vetores e que a melhor linha "depende" ou é "suportado por" os pontos mais próximos).

Depois de encontrar os pontos mais próximos, o SVM desenha uma linha conectando-os (consulte a linha denominada 'w' na Figura 2). Ele desenha essa linha de conexão fazendo subtração vetorial (ponto A - ponto B). A máquina de vetores de suporte então declara que a melhor linha de separação é a linha que corta - e é perpendicular à - linha de conexão.

A máquina de vetores de suporte é melhor porque, quando você obtém uma nova amostra (novos pontos), você já criou uma linha que mantém B e A o mais longe possível um do outro e, portanto, é menos provável que um deles se espalhe a linha no território do outro.

Considero-me um aprendiz visual e lutei com a intuição por trás das máquinas de vetores de suporte por um longo tempo. O artigo chamado Dualidade e geometria nos classificadores SVM finalmente me ajudou a ver a luz; é de onde eu tirei as imagens.

A resposta de Ryan Zotti explica a motivação por trás da maximização dos limites de decisão, a resposta de carlosdc fornece algumas semelhanças e diferenças com relação a outros classificadores. Nesta resposta, darei uma breve visão geral matemática de como os SVMs são treinados e usados.

Notações

A seguir, escalares são indicados com letras minúsculas em itálico (por exemplo, ), vetores com letras minúsculas em negrito (por exemplo, ) e matrizes com letras maiúsculas em itálico (por exemplo, ) é a transposição de e .$y,\, b$$\mathbf{w},\, \mathbf{x}$$W$$\mathbf{w^T}$$\mathbf{w}$$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Deixei:

• $\mathbf{x}$ é um vetor de recurso (ou seja, a entrada do SVM). , em que é a dimensão do vetor de recurso.$\mathbf{x} \in \mathbb{R}^n$$n$
• $y$ seja a classe (ou seja, a saída do SVM). , ou seja, a tarefa de classificação é binária.$y \in \{ -1,1\}$
• $\mathbf{w}$ e são os parâmetros do SVM: precisamos aprendê-las usando o conjunto de treinamento.$b$
• $(\mathbf{x}^{(i)}, y^{(i)})$ é a amostra no conjunto de dados. Vamos supor que temos amostras no conjunto de treinamento.$i^ {\text {th}}$$N$

Com , pode-se representar os limites de decisão do SVM da seguinte maneira:$n=2$

A classe é determinada da seguinte forma:$y$

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

que pode ser escrito de forma mais concisa como .$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Objetivo

O SVM visa atender a dois requisitos:

1. O SVM deve maximizar a distância entre os dois limites de decisão. Matematicamente, isso significa que queremos maximizar a distância entre o hiperplano definido por e o hiperplano definido por . Essa distância é igual a . Isso significa que queremos resolver . Equivalentemente, queremos .$\mathbf{w^T}\mathbf{x}+b = -1$$\mathbf{w^T}\mathbf{x}+b = 1$$\frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$

2. O SVM também deve classificar corretamente tudo , o que significa$\mathbf{x}^{(i)}$$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

O que nos leva ao seguinte problema de otimização quadrática:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Esse é o SVM de margem rígida , pois esse problema de otimização quadrática admite uma solução se os dados forem linearmente separáveis.

Pode-se relaxar as restrições introduzindo as chamadas variáveis ​​de folga . Observe que cada amostra do conjunto de treinamento tem sua própria variável de folga. Isso nos dá o seguinte problema de otimização quadrática:$\xi^{(i)}$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Este é o SVM de margem flexível . é um hiperparâmetro chamado penalidade do termo de erro . ( Qual é a influência de C nos SVMs com kernel linear? E Qual intervalo de pesquisa para determinar os parâmetros ideais do SVM? ).$C$

Pode-se adicionar ainda mais flexibilidade, introduzindo uma função que mapeia o espaço original do recurso para um espaço dimensional mais alto. Isso permite limites de decisão não lineares. O problema de otimização quadrática se torna:$\phi$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Otimização

O problema de otimização quadrática pode ser transformado em outro problema de otimização chamado problema dual Lagrangiano (o problema anterior é chamado de primal ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Esse problema de otimização pode ser simplificado (configurando alguns gradientes para ) para:$0$

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ não aparece como (conforme declarado pelo teorema do representador ).$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Portanto, aprendemos o usando do conjunto de treinamento.$\alpha^{(i)}$$(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Por que se preocupar com o problema duplo ao ajustar o SVM? Resposta curta: computação mais rápida + permite usar o truque do kernel, embora existam bons métodos para treinar o SVM no primal, por exemplo, consulte {1})

Fazendo uma previsão

Depois que o é aprendido, é possível prever a classe de uma nova amostra com o vetor de recursos seguinte maneira:$\alpha^{(i)}$$\mathbf{x}^{\text {test}}$

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

O somatório pode parecer avassalador, pois significa que é preciso somar todas as amostras de treinamento, mas a grande maioria de é (consulte Por que os Os multiplicadores de Lagrange são escassos para SVMs? ), Portanto, na prática, isso não é um problema. (observe que é possível construir casos especiais em que todos ) se for um vetor de suporte . A ilustração acima possui 3 vetores de suporte.$\sum_{i =1}^{N}$$\alpha^{(i)}$$0$$\alpha^{{(i)}} > 0$$\alpha^{{(i)}}=0$$x^{{(i)}}$

Truque do kernel

Pode-se observar que o problema de otimização usa apenas no produto interno . A função que mapeia para o produto interno é chamado de um núcleo , aka função kernel, muitas vezes denotado por .$\phi\left(\mathbf{x}^{(i)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$k$

Pode-se escolher para que o produto interno seja eficiente para a computação. Isso permite usar um espaço de recurso potencialmente alto a um baixo custo computacional. Isso é chamado de truque do kernel . Para uma função do kernel ser válida , ou seja, utilizável com o truque do kernel, ela deve satisfazer duas propriedades principais . Existem muitas funções do kernel para você escolher . Como uma observação lateral, o truque do kernel pode ser aplicado a outros modelos de aprendizado de máquina ; nesse caso, eles são referidos como kernelized .$k$

Indo além

Alguns QAs interessantes em SVMs:

• Melhor maneira de executar SVM multiclasse
• Máquinas de vetores de suporte e regressão
• Compreendendo as diferentes formulações para SVM
• Qual é a diferença entre as funções de perda -SVM, -SVM e LS-SVM?$\ell_1$$\ell_2$
• Para lidar com um conjunto de dados desequilibrado:
  • A melhor maneira de lidar com o conjunto de dados de várias classes não balanceado com o SVM
  • Seleção prévia de pesos da classe SVM
• Como interpretar pesos de recurso SVM?
• Interpretação do valor C em um SVM linear
• Limites de generalização no SVM
• Fórmula geral para a dimensão VC de um SVM
• O que significa a "máquina" em "máquina de vetores de suporte" e "máquina de Boltzmann restrita"?
• Como os SVMs = Correspondência de modelos?
• NeuralNetwork de camada única com ativação ReLU igual a SVM?
• Comparando SVM e regressão logística

Outros links:

• Os mínimos quadrados suportam a máquina de vetores

---

Referências:

• Chapelle, Olivier. "Treinando uma máquina de vetores de suporte no primal." Cálculo neural 19, no. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=pt_BR&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Vou focar nas semelhanças e diferenças de outros classificadores:

• De um perceptron: o SVM usa perda de dobradiça e regularização de L2, o perceptron usa a perda de perceptron e pode usar a parada precoce (ou entre outras técnicas) para regularização, não há realmente um termo de regularização no perceptron. Como ele não possui um termo de regularização, o perceptron provavelmente será super treinado, portanto, os recursos de generalização podem ser arbitrariamente ruins. A otimização é feita usando descida de gradiente estocástico e, portanto, é muito rápida. Do lado positivo, este artigo mostra que, ao fazer uma parada precoce com uma função de perda ligeiramente modificada, o desempenho pode estar no mesmo nível de um SVM.

• Da regressão logística: a regressão logística usa o termo de perda logística e pode usar a regularização L1 ou L2. Você pode pensar em regressão logística como o irmão discriminativo dos ingênuos-Bayes generativos.

• Do LDA: O LDA também pode ser visto como um algoritmo generativo, considerando que as funções de densidade de probabilidade (p (x | y = 0) ep (x | y = 1) são normalmente distribuídas. Isso é ideal quando os dados estão em fato distribuídos normalmente. Ele tem, no entanto, a desvantagem de que "treinamento" exige a inversão de uma matriz que pode ser grande (quando você tem muitos recursos). Sob homocedasticidade LDA torna QDA que é Bayes ideal para dados distribuídos normalmente. o que significa que se o pressupostos estão satisfeitos, você realmente não pode fazer melhor do que isso.

No tempo de execução (tempo de teste), uma vez que o modelo foi treinado, a complexidade de todos esses métodos é a mesma, é apenas um ponto entre o hiperplano que o procedimento de treinamento encontrou e o ponto de dados.

A técnica baseia-se no desenho de uma linha de limite de decisão, deixando uma margem ampla para os primeiros exemplos positivos e negativos possíveis:

Como na ilustração acima, se selecionarmos um vetor ortogonal tal que , possamos estabelecer um critério de decisão para que qualquer exemplo desconhecido seja catalogado como positivo da forma:$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

correspondente a um valor que colocaria a projeção além da linha de decisão no meio da rua. Observe que .$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Uma condição equivalente para uma amostra positiva seria:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

com$C = - b.$

Precisamos de e para ter uma regra de decisão e, para chegar lá, precisamos de restrições .$b$$\color{blue}{\mathbf w}$

Primeira restrição que vamos impor é que para qualquer amostra positiva , ; e para amostras negativas, . No limite da divisão ou no hiperplano ( mediana ), o valor seria , enquanto os valores nas sarjetas serão e :$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

O vetor é o vetor de pesos , enquanto é o viés .$\bf w$$b$

---

Para reunir essas duas desigualdades, podemos introduzir a variável para que para exemplos positivos e se os exemplos forem negativos, e concluir$y_i$$y_i=+1$$y_i=-1$

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Portanto, estabelecemos que isso deve ser maior que zero, mas se o exemplo estiver nos hiperplanos (as "calhas") que maximizam a margem de separação entre o hiperplano de decisão e as dicas dos vetores de suporte, neste caso, as linhas), então:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Observe que isso é equivalente a exigir que$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Segunda restrição : a distância do hiperplano de decisão às pontas dos vetores de suporte será maximizada. Em outras palavras, a margem de separação ("rua") será maximizada:

Supondo que um vetor unitário perpendicular ao limite de decisão , o produto escalar com a diferença entre dois exemplos "positivo" e "negativo" é a largura da "rua" :$\mathbf w$

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

Na equação acima, e estão na sarjeta (nos hiperplanos que maximizam a separação). Portanto, para o exemplo positivo: ou ; e para o exemplo negativo: . Então, reformulando a largura da rua:$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

Portanto, agora apenas precisamos maximizar a largura da rua - ou seja, maximizar minimizar ou minimizar:$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

o que é matematicamente conveniente.

---

Então, queremos:

1. Minimize com a restrição:$\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Como queremos minimizar essa expressão com base em algumas restrições, precisamos de um multiplicador de Lagrange (voltando às equações 2 e 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Diferenciando,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Portanto,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

E diferenciando em relação a$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

o que significa que temos um produto de soma zero de multiplicadores e rótulos:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Conectando a equação Eq (6) de volta à Eq (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

O penúltimo termo é zero conforme a equação Eq (7).

Portanto,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

Eq (8) sendo o Lagrangiano final.

Portanto, a otimização depende do produto escalar de pares de exemplos.

Voltando à "regra de decisão" na Eq (1) acima e usando a Eq (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

será a regra de decisão final para um novo vetor$\mathbf u.$

Alguns comentários sobre as condições de Dualidade e KTT

Problema primário

Pegando o post de @ Antoni entre as equações e , lembre-se de que nosso problema de otimização original ou primordial é da forma:$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Método de Lagrange

O método dos multiplicadores Lagrange nos permite transformar um problema de otimização restrito em um irrestrito da seguinte forma:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

Onde é chamado de Lagrangiano e são chamados de multiplicadores de Lagrangiano . $\mathcal{L}(w, b, \alpha)$$\alpha_i$

Nosso problema primordial de otimização com o Lagrangiano se torna o seguinte: (observe que o uso de , não é o mais rigoroso, pois também devemos usar e aqui ...)$min$$max$$\inf$$\sup$

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Problema duplo

O que o @Antoni e o Prof. Patrick Winston fizeram em sua derivação é supor que a função de otimização e as restrições atendam a algumas condições técnicas, para que possamos fazer o seguinte:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Isto permite-nos ter as derivadas parciais de com respeito a e , igualar a zero e, em seguida, ligar os resultados de volta para a equação original do Lagrangeanos, por conseguinte, a geração de um equivalente problema de otimização dupla do formulário$\mathcal{L}(w, b, \alpha)$$w$$b$

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Dualidade e KTT

Sem entrar em tecnicismos matemáticos excessivos, essas condições são uma combinação das condições de Dualidade e Karush Kuhn Tucker (KTT) e nos permitem resolver o problema duplo em vez do primário , garantindo a solução ideal. No nosso caso, as condições são as seguintes:

• As funções primordial de objetivo e restrição de desigualdade devem ser convexas
• A função de restrição de igualdade deve ser afim
• As restrições devem ser estritamente viáveis

Depois, existem que são soluções para os problemas primários e duplos. Além disso, os parâmetros atendem às condições KTT abaixo:$w^*, \alpha^*$$w^*, \alpha^*$

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Além disso, se alguns satisfazem as soluções KTT, eles também são solução para o problema primário e duplo.$w^*, \alpha^*$

A equação acima é de particular importância e é chamada de condição de dupla complementaridade . Isso implica que, se então que significa que a restrição está ativa, ou seja, ela mantém a igualdade e não a desigualdade. Esta é a explicação por trás da equação na derivação de Antoni, onde a restrição de desigualdade é transformada em restrição de igualdade.α ∗ i > 0 g i ( w ∗ ) = 0 g i ( w ) ≤ 0 ( 2 $(C)$$\alpha_i^* > 0$$g_i(w^*) = 0$$g_i(w) \leq 0$$(2)$

Um diagrama intuitivo, mas informal

Fontes

• Andrew Ng 1 e 2
• MIT