Devo usar o Kernel Trick sempre que possível para dados não lineares?

Recentemente, aprendi sobre o uso do truque Kernel, que mapeia dados em espaços dimensionais mais altos, na tentativa de linearizar os dados nessas dimensões. Existem casos em que devo evitar o uso dessa técnica? É apenas uma questão de encontrar a função correta do kernel?

Para dados lineares, é claro que isso não é útil, mas para dados não lineares, isso sempre parece útil. Usar classificadores lineares é muito mais fácil do que não linear em termos de tempo de treinamento e escalabilidade.

Para dados lineares, é claro que isso não é útil, mas para dados não lineares, isso sempre parece útil. Usar classificadores lineares é muito mais fácil do que não linear em termos de tempo de treinamento e escalabilidade.

O @BartoszKP já explicou por que o truque do kernel é útil. Para responder completamente à sua pergunta, no entanto, gostaria de salientar que a kernelização não é a única opção para lidar com dados não linearmente separáveis.

Existem pelo menos três alternativas boas e comuns para a delinearização do modelo:

• Métodos baseados em rede neutal, nos quais você adiciona uma (ou mais) camadas de unidades de processamento, capazes de transformar seus dados em um caso linearmente separável. No caso mais simples, é uma camada baseada em sigmóides, que adiciona não linearidade ao processo. Uma vez inicializados aleatoriamente, eles recebem atualizações durante a otimização baseada em gradiente da camada superior (que atualmente resolve o problema linear).
• Em particular - técnicas de aprendizado profundo podem ser usadas aqui para preparar dados para uma classificação linear adicional. É uma idéia muito semelhante à anterior, mas aqui você primeiro treina suas camadas de processamento para encontrar um bom ponto de partida para o ajuste fino adicional com base no treinamento de algum modelo linear.
• Projeções aleatórias - você pode amostrar projeções (não lineares) de algum espaço predefinido e treinar um classificador linear sobre elas. Essa ideia é amplamente explorada no chamado aprendizado de máquina extremo , onde solucionadores lineares muito eficientes são usados ​​para treinar um classificador simples em projeções aleatórias e obter um desempenho muito bom (em problemas não lineares na classificação e na regressão, veja, por exemplo, aprendizado extremo máquinas ).

Resumindo, a kernelização é uma ótima técnica de delinearização, e você pode usá-la quando o problema não for linear, mas isso não deve ser cego "se for". Este é apenas um dos pelo menos alguns métodos interessantes, que podem levar a vários resultados, dependendo do problema e dos requisitos. Em particular, o ELM tende a encontrar soluções muito semelhantes às fornecidas pelo SVM kernelizado, enquanto ao mesmo tempo pode ser treinado linhas de magnitude mais rapidamente (por isso aumenta muito melhor do que os SVMs kernelizados).

O preço pago pelo truque do kernel em geral, pelos métodos lineares, está tendo limites de generalização piores. Para um modelo linear, sua dimensão VC também é linear em termos de número de dimensões (por exemplo, a dimensão VC para um Perceptron é d + 1).

Agora, se você realizar uma transformação não linear complexa em um espaço dimensional alto, a dimensão VC do seu conjunto de hipóteses é significativamente maior, pois agora é linear em termos do número de dimensões no novo espaço dimensional alto. E com isso, o limite da generalização aumenta.

As máquinas de vetores de suporte exploram o truque do kernel da maneira mais eficiente, fazendo duas coisas:

• o limite de generalização para os modelos SVM de margem rígida está relacionado ao número de vetores de suporte e a margem flexível está relacionada à norma do vetor de peso - portanto, pode ser irrelevante no primeiro caso e quase irrelevante no segundo caso . Não importa quão grande seja o espaço de destino do kernel, você não perde nada / muito em termos de generalização (referências: (i) C. Cortes e V. Vapnik. Suporte a redes vetoriais. Machine Learning, 20: 273– 297, 1995 ; (ii) Shawe-Taylor, J .; Cristianini, N., "Sobre a generalização de algoritmos de margem macia", Teoria da Informação, IEEE Transactions on, vol.48, no.10, pp.2721,2735, Outubro de 2002 ).

• Os SVMs encontram o plano de separação que maximiza a margem, e isso simplifica ainda mais o conjunto de hipóteses (não consideramos todos os planos de separação possíveis, apenas aqueles que maximizam a margem). Um conjunto simples de hipóteses também leva a melhores limites de generalização (isso está relacionado ao primeiro ponto, mas é mais intuitivo).

Tentarei fornecer uma resposta não técnica para sua pergunta.

De fato, o linear deve ser preferido e deve ser a primeira escolha pelos motivos mencionados, tempo de treinamento, escalabilidade, além de facilitar a interpretação do modelo final, a opção de trabalhar em primal ou duplo, mais tolerância ao sobreajuste etc.

Se o modelo linear não resultar em desempenho satisfatório, você pode tentar soluções não lineares. Algumas compensações a serem consideradas incluem:

• a escolha do kernel. Isso não é óbvio, geralmente você precisa testar opções diferentes
• existe o risco de sobreajustar o conjunto de treinamento. Na verdade, é muito fácil se adaptar demais, se você quiser. Para evitar o ajuste excessivo, você precisa de uma estrutura de avaliação mais forte (você precisa medir a variação / estabilidade do desempenho em dados não vistos) e precisa de dados suficientes para poder fazer a seleção adequada do modelo
• você trabalha no dual e, portanto, não pode interpretar o modelo final, ou seja, não pode afirmar que o recurso X é mais importante que o recurso Y etc.
• o tempo de treinamento é aumentado com o volume de dados (menos com o número de recursos, pois está no dual)