Quais são as diferenças entre a AUC e o escore F1?

A pontuação F1 é a média harmônica de precisão e recuperação. O eixo y da recuperação é uma taxa positiva verdadeira (que também é recuperação). Assim, em algum momento os classificadores podem ter um recall baixo, mas uma AUC muito alta, o que isso significa?

Quais são as diferenças entre a AUC e o escore F1?

A pontuação F1 é aplicável a qualquer ponto específico da curva ROC. Este ponto pode representar, por exemplo, um valor limite específico em um classificador binário e, portanto, corresponde a um valor específico de precisão e recuperação.

Lembre-se, a pontuação F é uma maneira inteligente de representar a recuperação e a precisão. Para que a pontuação F seja alta, a precisão e a recuperação devem ser altas.

Assim, a curva ROC é para vários níveis diferentes de limiares e possui muitos valores de pontuação F para vários pontos em sua curva.

AUC é da dimensão [PRECISION] * [RECALL] e é a área sob a curva ROC. F1 é para um par fixo de precisão e recuperação. Então eles são diferentes. Mas existem algumas conexões. Veja isto: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf

Os eixos de uma curva ROC são a verdadeira taxa positiva (recall, sensibilidade do AKA) e a taxa de falsos positivos (taxa de falsos alarmes) , não a precisão, AKA PPV, valor preditivo positivo .