Como entender o efeito do RBF SVM

Como posso entender o que o RBF Kernel no SVM faz? Quero dizer, eu entendo a matemática, mas existe uma maneira de ter uma ideia de quando esse kernel será útil?

Os resultados do kNN estariam relacionados ao SVM / RBF, já que o RBF contém distâncias vetoriais?

Existe uma maneira de obter uma ideia do kernel polinomial? Eu sei que quanto maior a dimensão, mais ondulada ela é. Mas eu gostaria de ter uma intuição do que os kernels fazem, em vez de tentar todos os kernels possíveis e escolher os que têm mais sucesso.

svm kernel-trick

— Gerenuk
fonte

Você pode começar analisando uma das minhas respostas aqui:
Classificação SVM não linear com o kernel RBF

Nesta resposta, tento explicar o que uma função do kernel está tentando fazer. Depois de entender o que ele tenta fazer, como acompanhamento, você pode ler minha resposta a uma pergunta no Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- função-base-radial-mapa-do-kernel-no-espaço-dimensional-infinito / resposta / Arun-Iyer-1

Reproduzir o conteúdo da resposta no Quora, caso você não tenha uma conta no Quora.

Pergunta: Por que o kernel RBF (função de base radial) é mapeado para o espaço dimensional infinito? Resposta: Considere o núcleo polinomial de grau 2 definido por, , onde e .
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Assim, a função do kernel pode ser escrita como, Agora, vamos tentar criar um mapa de recursos modo que a função do kernel possa ser escrita como
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Considere o seguinte mapa de recursos, Basicamente, este mapa de recursos está mapeando os pontos empara os pontos em . Observe também que, que é essencialmente a nossa função do kernel.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Isto significa que a nossa função kernel é realmente de computação do interior / cs produto de pontos em . Ou seja, ele está mapeando implicitamente nossos pontos de a . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Questão de Exercício : Se seus pontos estão em , um núcleo polinomial de grau 2 o mapeará implicitamente para algum espaço vetorial F. Qual é a dimensão desse espaço vetorial F? Dica: Tudo o que fiz acima é uma pista. $\mathbb{R}^n$

Agora, vindo para a RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Pergunta do exercício : Obtenha os primeiros elementos vetoriais do mapa de recursos do RBF para o caso acima?

Agora, a partir da resposta acima, podemos concluir algo:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
fonte