Máquinas de vetores de suporte e regressão

Já houve uma excelente discussão sobre como as máquinas de vetores de suporte lidam com a classificação, mas estou muito confuso sobre como as máquinas de vetores de suporte se generalizam para regressão.

Alguém se importar de me esclarecer?

Basicamente, eles generalizam da mesma maneira. A abordagem de regressão baseada no kernel é transformar o recurso, chamá-lo de para algum espaço vetorial e executar uma regressão linear nesse espaço vetorial. Para evitar a 'maldição da dimensionalidade', a regressão linear no espaço transformado é um pouco diferente dos mínimos quadrados comuns. O resultado é que a regressão no espaço transformada pode ser expressa como ℓ ( x ) = Σ i w i φ ( x i ) ⋅ φ ( x ) , onde x i são as observações do conjunto de treino, φ $\mathbf{x}$$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$$\mathbf{x_i}$ é a transformação aplicada aos dados e o ponto é o produto escalar. Assim, a regressão linear é 'suportada' por alguns (de preferência um número muito pequeno de) vetores de treinamento. $\phi(\cdot)$

Todos os detalhes matemáticos estão ocultos na regressão estranha feita no espaço transformado ('tubo insensível ao épsilon' ou qualquer outra coisa) e na escolha da transformação, . Para um praticante, também existem perguntas sobre alguns parâmetros livres (geralmente na definição de ϕ e na regressão), bem como na caracterização , que é onde o conhecimento do domínio geralmente é útil.$\phi$$\phi$

Para uma visão geral do SVM: Como funciona um SVM (Support Vector Machine)?

Em relação à regressão de vetores de suporte (SVR), acho esses slides de http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) muito claros:

A documentação do Matlab também possui uma explicação decente e, além disso, aborda o algoritmo de solução de otimização: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Até agora, essa resposta apresentou a chamada regressão SVM (ε-SVM) insensível ao epsilon. Existe uma variante mais recente do SVM para qualquer classificação de regressão: os mínimos quadrados suportam a máquina de vetores .

Além disso, o SVR pode ser estendido para saída múltipla, também conhecida como destino múltiplo, por exemplo, consulte {1}.

Referências:

• {1} Borchani, Hanen, Gherardo Varando, Concha Bielza e Pedro Larrañaga. "Uma pesquisa sobre regressão de produção múltipla." Wiley Interdisciplinary Reviews: Mineração de Dados e Descoberta do Conhecimento 5, no. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=pt_BR&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf