Por que os multiplicadores Lagrange são escassos para SVMs?

Eu li que, para o Maximal Margin Classifier SVM, depois de resolver o problema duplo, a maioria dos multiplicadores de intervalo de intervalo acaba sendo zeros. Somente os correspondentes aos vetores de suporte são positivos.

Por que é que?

svm lagrange-multipliers

— Michael Litvin
fonte

O artigo da Wikipedia sobre Máquinas de vetores de suporte responde a isso, apontando que os multiplicadores Lagrange diferentes de zero correspondem a pontos na margem, dos quais normalmente haveria muito poucos.

— whuber

Os multiplicadores de Lagrange no contexto de SVMs são geralmente indicados como . O fato de que muitas vezes se observa que a maioria é uma conseqüência direta das duas condições de complementaridade dupla de Karush-Kuhn-Tucker (KKT) : $\alpha_i$ $\alpha_i=0$

Como iff está no limite de decisão do SVM, ou seja, é um vetor de suporte assumindo que está no conjunto de treinamento, e na maioria dos casos alguns vetores de treinamento são vetores de suporte, como whuber apontou nos comentários, isso significa que a maioria dos 0 ou . $y_i(\mathbf{w}^T\mathbf{x}_i+b) = 1$ $\mathbf{x}_i$ $\mathbf{x}_i$ $\alpha_i$ $C$

As notas de Andrew CS Ng2222 sobre SVMs apresentam as duas condições de complementaridade dupla de Karush-Kuhn-Tucker (KKT):

Observe que podemos criar um caso em que todos os vetores no conjunto de treinamento são vetores de suporte: por exemplo, consulte esta pergunta da máquina de vetores de suporte .

— Franck Dernoncourt
fonte