Comparar classificadores com base no AUROC ou na precisão?

11

Eu tenho um problema de classificação binária e experimento diferentes classificadores: quero comparar os classificadores. qual é uma medida melhor da AUC ou da precisão? E porque?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— Sina
fonte

13

A proporção classificada corretamente é uma regra de pontuação inadequada, ou seja, é otimizada por um modelo falso. Eu usaria a regra de pontuação quadrática adequada conhecida como Brier score, ou a probabilidade de concordância (área sob a curva ROC no caso binário ). A floresta aleatória funciona melhor que o SVM no seu caso. $Y$

— Frank Harrell
fonte

Se por assunto

na sua amostra

é o resultado binário observado e

é a probabilidade prevista de um a pontuação Brier é (se bem me lembro) '1'

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

. Como o OP tem um problema de classificação binária o

são conhecidos, mas como você calcular

para SVM?

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

@fcop Existe uma maneira de transformar a previsão de classificação binária de um SVM em uma probabilidade, chamada Platt Scaling ( en.wikipedia.org/wiki/Platt_scaling ). Essencialmente, em vez de calcular a

(

ou

) como

, onde

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$ é a solução para o SVM convexa problema de programação quadrática, Platt dimensionamento preciso uma transformação logística de

:

g (y_{i}, x_{i})

$g(y_i,x_i)$

, onde

e

são parâmetros determinado pelo algoritmo de escalonamento de Platt.

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

— robertf

8

Eu acho que você definitivamente deveria procurar mais métricas do que apenas AUC e precisão.

A precisão (juntamente com sensibilidade e especificidade) é uma métrica muito simples, mas tendenciosa, que obriga a olhar para o resultado absoluto da previsão e não abre para a afirmação de probabilidades ou classificações de classe. Também não leva em consideração a população, o que convida à interpretação incorreta como um modelo que fornece uma precisão de 95% em uma população com 95% de chance de estar correta aleatoriamente não é realmente um bom modelo, mesmo que a precisão seja alta.

A AUC é uma boa métrica para afirmar a precisão do modelo, independente das probabilidades de classe populacional. No entanto, não lhe dirá nada sobre quão boas são as estimativas de probabilidade. Você pode obter uma AUC alta, mas ainda tem estimativas de probabilidade muito distorcidas. Essa métrica é mais exigente do que precisão e definitivamente fornecerá melhores modelos quando usada em combinação com alguma regra de pontuação adequada, por exemplo, pontuação Brier, conforme mencionado em outro post.

Você pode obter uma prova mais formal aqui, embora este artigo seja bastante teórico: AUC: uma medida estatisticamente consistente e mais discriminadora do que precisão

No entanto, existem várias boas métricas disponíveis. Funções de perda para estimativa e classificação de probabilidade de classe binária: estrutura e aplicações é um bom artigo que investiga regras de pontuação adequadas, como a pontuação Brier.

Outro artigo interessante com métricas para afirmar o desempenho do modelo é a Avaliação: da precisão, recall e F-measure ao ROC, informabilidade, acentuação e correlação, adotando outras métricas de bom desempenho, como a informabilidade .

Para resumir, eu recomendaria analisar a pontuação da AUC / Gini e Brier para afirmar o desempenho do modelo, mas, dependendo do objetivo do modelo, outras métricas podem atender melhor ao seu problema.

— enquanto
fonte

O link para a Avaliação: de precisão, recall e F-medida para ROC, informedness, markedness & correlação está morto

— vonjd

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

Nenhum brierscore não é ótimo para métodos que apenas fornecem um resultado e não uma probabilidade. Niether é auc, pois isso lhe dirá o quão bem você classifica suas previsões. Com apenas resultados, você obterá apenas um ponto no espaço ROC, portanto, fornecendo a área sob a curva será o triângulo. Mas ele ainda fornecerá um número e, assim, aumentará a pontuação, apesar de se transformar mais ou menos em perda de 0-1. Se você tiver apenas resultados, sugiro olhar para Precision, Recall e Kappa de Cohen, que são métricas projetadas para quando você obtiver resultados.

— enquanto