Calculando coeficientes de Lagrange para SVM em Python

Estou tentando escrever uma implementação SVM completa em Python e tenho alguns problemas ao calcular os coeficientes de Lagrange.

Primeiro, deixe-me reformular o que entendo no algoritmo para garantir que estou no caminho certo.

Se $x_1, x_2, ..., x_n$ é um conjunto de dados e $y_i \in \{-1, 1\}$ é o rótulo da classe $x_i$ , em seguida,

$$\forall i, y_i(w^Tx_i + b) \geq 1$$

Então, só precisamos resolver um problema de otimização para

$\|w\|^2$

sujeito a$y_i(w^Tx_i + b) \geq 1$

Em termos de coeficientes de Lagrange, isso se traduz em encontrar , e e minimizando:$w$$b$$\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$$\geq0$

$$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$$

Agora, como e podemos reescrevê-lo como com restrições

$$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$$ $$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$$ $$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$$ $$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$$

Então, estou tentando resolver o problema de otimização usando o Python, e o único pacote gratuito que consegui encontrar é chamado cvxopt .

Gostaria de alguma ajuda para resolver isso, não consegui encontrar um bom exemplo disso e, embora eu entenda a teoria, estou tendo dificuldades para traduzi-la em código (eu esperava o oposto, pois estou mais de um plano de programação).

Observe que em algum momento eu desejarei resolvê-lo usando Kernels mas não tenho certeza de quais são as implicações em resolver isso no código.

$$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$$

Qualquer ajuda seria muito apreciada, estou realmente perdido em como implementar isso em Python. Se você tem um módulo melhor para resolver o problema de otimização, também gostaria de ler sobre isso.

Eu usei o cvxopt para implementar um SVM antes, no entanto, no matlab não no python. Definitivamente, ele servirá ao seu propósito, seja eficiente o suficiente, dependendo do que você está usando. Os SVMs mais eficientes não usam um pacote solucionador QP, eles aproveitam algumas otimizações exclusivas do SVM. Muitos usam um algoritmo de estilo SMO para resolvê-lo.

LibSVM é um pacote SVM que usa o algoritmo em Seleção de conjuntos de trabalho usando informações de segunda ordem para máquinas de vetores de suporte de treinamento . O código é de código aberto, se você estiver interessado em ver como é implementado. Ele também possui uma interface python.

O SVMLight é outro pacote, eles usam um algoritmo diferente (consulte o site para referências). Também é de código aberto e possui uma interface python.

A forma geral do seu problema de otimização é um programa quadrático , independentemente de você estar usando o truque do kernel ou um kernel linear. Parece que cvxoptserá suficiente para o que você está tentando fazer, mas outros pitonitas aqui também tiveram sorte com o OpenOpt .