Como tenho um conjunto de dados muito desequilibrado (resultados positivos de 9%), decidi que uma curva de precisão e recordação era mais apropriada do que uma curva ROC. Obtive a medida sumária análoga da área sob a curva PR (0,49, se você estiver interessado), mas não tenho certeza de como interpretá-la. Ouvi dizer que 0,8 ou acima é o que é uma boa AUC para o ROC, mas os pontos de corte gerais seriam os mesmos da AUC para uma curva de precisão de recuperação?
Respostas:
Não há um corte mágico para AUC-ROC ou AUC-PR. Maior é obviamente melhor, mas depende totalmente da aplicação.
Por exemplo, se você pudesse identificar com êxito investimentos lucrativos com uma AUC de 0,8 ou, nesse caso, qualquer coisa distinta do acaso, eu ficaria muito impressionado e você seria muito rico. Por outro lado, a classificação de dígitos manuscritos com uma AUC de 0,95 ainda está substancialmente abaixo do estado da técnica atual.
Além disso, embora seja garantido o melhor AUC-ROC possível em [0,1], isso não é verdade para curvas de recuperação de precisão, pois pode haver áreas "inacessíveis" do espaço PR, dependendo de como as distribuições de classe são distorcidas. (Veja este artigo de Boyd et al (2012) para detalhes).
.49 não é ótimo, mas sua interpretação é diferente da ROC AUC. Para ROC AUC, se você obteve 0,49 usando um modelo de regressão logística, eu diria que você não está se saindo melhor que aleatório. Para .49 PR AUC, no entanto, pode não ser tão ruim assim. Eu consideraria olhar para a precisão individual e recordar, talvez um ou outro é o que está dirigindo sua AUC de relações públicas. Lembre-se de dizer quanto dessa classe positiva de 9% você está realmente achando correta. A precisão lhe dirá quantos você achou positivos que não foram. (Falso-positivo). Lembre-se de 50% seria ruim, o que significa que você não está adivinhando muitos de sua classe desequilibrada, mas talvez 50% de precisão não seja ruim. Depende da sua situação.
Um estimador aleatório teria uma PR-AUC de 0,09 no seu caso (resultados positivos de 9%), portanto seu 0,49 é definitivamente um aumento substancial.
Se este for um bom resultado, só poderá ser avaliado em comparação com outros algoritmos, mas você não forneceu detalhes sobre o método / dados que usou.
Além disso, convém avaliar o formato da sua curva PR. Uma curva PR ideal vai do canto do topleft horizontalmente para o canto superior direito e diretamente para o canto inferior direito, resultando em uma PR-AUC de 1. Em algumas aplicações, a curva PR mostra um forte aumento no início para rapidamente deixe cair novamente próximo à "linha do estimador aleatório" (a linha horizontal com precisão de 0,09 no seu caso). Isso indicaria uma boa detecção de resultados positivos "fortes", mas um desempenho ruim nos candidatos menos claros.
Se você deseja encontrar um bom limite para o parâmetro de corte do seu algoritmo, considere o ponto na curva PR mais próximo do canto superior direito. Ou melhor ainda, considere a validação cruzada, se possível. Você pode obter valores de precisão e rechamada para um parâmetro de corte específico mais interessante para sua aplicação do que o valor do PR-AUC. As AUCs são mais interessantes ao comparar diferentes algoritmos.