Comparando SVM e regressão logística

Alguém pode me dar alguma intuição sobre quando escolher SVM ou LR? Quero entender a intuição por trás da diferença entre os critérios de otimização de aprender o hiperplano dos dois, onde os respectivos objetivos são os seguintes:

• SVM: tente maximizar a margem entre os vetores de suporte mais próximos
• LR: Maximize a probabilidade da classe posterior

Vamos considerar o espaço de recurso linear para SVM e LR.

Algumas diferenças que eu já conheço:

1. O SVM é determinístico (mas podemos usar o modelo Platts para o escore de probabilidade) enquanto o LR é probabilístico.
2. Para o espaço do kernel, o SVM é mais rápido (armazena apenas vetores de suporte)

SVMs lineares e regressão logística geralmente apresentam desempenho comparável na prática. Use o SVM com um kernel não linear se você tiver motivos para acreditar que seus dados não serão linearmente separáveis ​​(ou você precisa ser mais robusto com valores extremos do que o LR normalmente tolera). Caso contrário, tente primeiro a regressão logística e veja como você se sai com esse modelo mais simples. Se a regressão logística falhar, tente um SVM com um kernel não linear como um RBF.

EDITAR:

Ok, vamos falar sobre de onde vêm as funções objetivas.

A regressão logística vem da regressão linear generalizada. Uma boa discussão da função objetivo da regressão logística neste contexto pode ser encontrada aqui: https://stats.stackexchange.com/a/29326/8451

O algoritmo Support Vector Machines é muito mais geometricamente motivado . Em vez de assumir um modelo probabilístico, estamos tentando encontrar um hiperplano de separação ideal em particular, onde definimos "otimização" no contexto dos vetores de suporte. Não temos nada parecido com o modelo estatístico que usamos na regressão logística aqui, embora o caso linear nos dê resultados semelhantes: na verdade, isso apenas significa que a regressão logística faz um bom trabalho ao produzir classificadores de "ampla margem", pois é tudo o que o SVM está tentando fazer (especificamente, o SVM está tentando "maximizar" a margem entre as classes).

Vou tentar voltar a isso mais tarde e me aprofundar um pouco mais nas ervas daninhas. Estou meio que no meio de algo: p

Imagem significa a diferença entre SVM e regressão logística e onde usar qual método

esta imagem vem do curso coursera: "machine learning" de Andrew NG. Ele pode ser encontrado na semana 7 no final de: "Suporte a máquinas de vetor - usando um SVM"

• O LR fornece probabilidades calibradas que podem ser interpretadas como confiança em uma decisão.
• O LR nos dá um objetivo suave e sem restrições.
• O LR pode ser (diretamente) usado nos modelos bayesianos.
• Os SVMs não penalizam exemplos pelos quais a decisão correta é tomada com confiança suficiente. Isso pode ser bom para generalização.
• Os SVMs têm uma boa forma dupla, oferecendo soluções esparsas ao usar o truque do kernel (melhor escalabilidade)

Confira Máquinas de vetores de suporte versus regressão logística, Universidade de Toronto CSC2515 por Kevin Swersky.