Aplicando o "truque do kernel" a métodos lineares?

O truque do kernel é usado em vários modelos de aprendizado de máquina (por exemplo, SVM ). Foi introduzido pela primeira vez no artigo "Fundamentos teóricos do método da função potencial no aprendizado de reconhecimento de padrões" em 1964.

A definição da Wikipedia diz que é

um método para usar um algoritmo de classificador linear para resolver um problema não linear, mapeando as observações não lineares originais em um espaço de maior dimensão, onde o classificador linear é usado posteriormente; isso torna uma classificação linear no novo espaço equivalente à classificação não linear no espaço original.

Um exemplo de modelo linear que foi estendido a problemas não lineares é o PCA do kernel . O truque do kernel pode ser aplicado a qualquer modelo linear ou possui certas restrições?

O truque do kernel pode ser aplicado apenas a modelos lineares onde os exemplos na formulação do problema aparecem como produtos pontuais (Support Vector Machines, PCA, etc).

Duas outras referências de B. Schölkopf :

• Schölkopf, B. e Smola, AJ (2002). Aprendendo com kernels . O MIT Pressione.
• Schölkopf, B., Tsuda, K. e Vert, J.‑P. (2004). Métodos de kernel em biologia computacional . O MIT Pressione.

e um site dedicado às máquinas do kernel .

@ ebony1 fornece o ponto-chave (+1), eu era co-autor de um artigo discutindo como fazer o kernel de modelos lineares generalizados, por exemplo, regressão logística e regressão de Poisson, é bem direto.

GC Cawley, GJ Janacek e NLC Talbot, máquinas generalizadas do kernel, em Anais da Conferência Conjunta Internacional IEEE / INNS sobre Redes Neurais (IJCNN-2007), páginas 1732-1737, Orlando, Flórida, EUA, 12 a 17 de agosto de 2007. ( www , pdf )

Também escrevi uma caixa de ferramentas MATLAB (com qualidade de pesquisa) (infelizmente não há instruções), que você pode encontrar aqui .

Ser capaz de modelar a distribuição de destino é bastante útil na quantificação da incerteza, etc., por isso é uma adição útil (se bem que incremental) aos métodos de aprendizado do kernel.