Regularização de coletores usando o gráfico da Lapônia no SVM

Estou tentando implementar a regularização múltipla em máquinas de vetores de suporte (SVMs) no Matlab. Estou seguindo as instruções no artigo de Belkin et al. (2006), há a equação:

$f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2}$

onde V é alguma função de perda e $\gamma_A$ é o peso da norma da função no RHKS (ou norma ambiental), impõe uma condição de suavidade nas possíveis soluções e $\gamma_I$ é o peso da norma da função em o coletor de baixa dimensão (ou norma intrínseca), que impõe suavidade ao longo do M. amostrado. O regularizador de ambiente torna o problema bem posicionado, e sua presença pode ser realmente útil do ponto de vista prático quando o pressuposto do coletor se mantém em menor grau .

Foi demonstrado em Belkin et al. (2006) que $f^*$ admite uma expansão em termos de $n$ pontos de S, $f^*(x)=\sum_{i=1}^{n}\alpha_i^*k(x_i,x)$ A função de decisão que discrimina entre as classes +1 e -1 é $y(x)=sign(f^*(x))$ .

O problema aqui é: estou tentando treinar SVM usando LIBSVM no MATLAB, mas não quero modificar o código original, por isso encontrei a versão pré-computada do LIBSVM que, em vez de usar os dados de entrada e os grupos de saída como parâmetros , obtém a matriz Kernal computada e os grupos de saída e treina o modelo SVM. Estou tentando alimentá-lo com a matriz regularizada do Kernel (Gram Matrix) e deixo fazer o resto.

Tentei encontrar a fórmula que regulariza o Kernal e cheguei a isso: Definindo como a matriz de identidade com a mesma dimensão da Matriz do Kernel,$I$$K$

$G=\frac{2\gamma_AI + 2\gamma_ILK}{I}$

$Gram = KG$

Em que é a matriz gráfica de Laplacian, é a matriz de núcleo e é a matriz de identidade. E é calculado usando multiplicação interior de duas matrizes e .$L$$K$$I$$Gram$$K$$G$

Existe alguém que possa me ajudar a descobrir como isso é calculado?

Enquanto eu não testá-lo , a leitura do artigo, o problema de otimização, tanto para SVM e LapSVM , é dado como:

$$\beta^*=\max_{\beta\in\mathbb R^l} \sum_{i = 1}^{l}\beta_i - {1\over 2}\beta^TQ\beta$$ sujeito a: $$\sum_{i = 1}^{l}\beta_iy_i = 0\\ 0 \le \beta_i \le {1\over l}\text{, with }i=1,\dots,l$$

Para SVM :

$$Q_{\text{SVM}} = Y\left(K \over 2\gamma\right)Y\\ \alpha^*_{\text{SVM}}={Y\beta^* \over 2\gamma}$$

Enquanto para o LapSVM , temos o seguinte (parênteses adicionados para tornar o relacionamento mais claro):

$$Q_{\text{LapSVM}} = Y\left( JK \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1} J^T\right)Y\\ \alpha^*_{\text{LapSVM}}= \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1}J^TY\beta^*$$

Podemos definir se:

$$Q_{\text{SVM*}} \equiv Q_{\text{LapSVM}}$$

$$\left\{\begin{matrix} \gamma_{\text{SVM*}} = 1/2 \\ K_{\text{SVM*}}=JK_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \end{matrix}\right.$$

Último:

$$\alpha^*_{\text{LapSVM}}= K_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \alpha^*_{\text{SVM*}}$$

---

Eu posso confirmar que funciona. Veja este exemplo com um kernel gaussiano e como a classe virginicacomeça a dados não quando comparação com , que é o SVM padrão.$\gamma_I = 2500$$\gamma_I = 0$