Eu estou lendo sobre isso SVMe cheguei ao ponto de que os não-kernelizados SVMsnada mais são que separadores lineares. Portanto, a única diferença entre uma SVMregressão logística e uma é o critério para escolher o limite?
Aparentemente, SVMescolhe o classificador de margem máxima e a regressão logística é a que minimiza a cross-entropyperda. Existem situações em que o SVM desempenho é melhor que a regressão logística ou vice-versa?
Respostas:
Se você usar a regressão logística e a cross-entropyfunção de custo, sua forma é convexa e haverá um único mínimo. Porém, durante a otimização, você pode encontrar pesos próximos ao ponto ideal e não exatamente no ponto ideal. Isso significa que você pode ter várias classificações que reduzem o erro e talvez configurá-lo como zero para os dados de treinamento, mas com pesos diferentes que são ligeiramente diferentes. Isso pode levar a diferentes limites de decisão. Essa abordagem é baseada em métodos estatísticos . Como é ilustrado na forma a seguir, é possível ter limites de decisão diferentes com pequenas alterações nos pesos e todos eles têm erro zero nos exemplos de treinamento.
O que SVMfaz é uma tentativa de encontrar um limite de decisão que reduz o risco de erro nos dados de teste. Ele tenta encontrar um limite de decisão que tenha a mesma distância dos pontos de limite de ambas as classes. Consequentemente, ambas as classes terão um mesmo espaço para o espaço vazio, onde não há dados. SVMé motivado geometricamente e não estatisticamente .
Nenhum SVMs kernelizado nada mais é do que separadores lineares. Portanto, a única diferença entre uma SVM e a regressão logística é o critério para escolher o limite?
Eles são separadores lineares e se você descobrir que seu limite de decisão pode ser um hiperplano, é melhor usar um SVMpara diminuir o risco de erro nos dados de teste.
Aparentemente, o SVM escolhe o classificador de margem máxima e a regressão logística que minimizam a perda de entropia cruzada.
Sim, conforme declarado, SVMé baseado nas propriedades geométricas dos dados, enquanto logistic regressioné baseado em abordagens estatísticas.
Nesse caso, existem situações em que o SVM teria um desempenho melhor que a regressão logística ou vice-versa?
Aparentemente, seus resultados não são muito diferentes, mas são. SVMs são melhores para generalização 1 , 2 .
A regressão logística não está tentando encontrar um limite de classe per se, como fazem os SVMs lineares. LR tenta modelar as pontuações y transformadas em logit usando preditores. Para usar uma analogia boba, o LR tenta colocar a função 'através dos pontos', enquanto os SVMs tentam colocar vetores de suporte 'entre os pontos'