Como plotar curvas ROC na classificação multiclasse?

Em outras palavras, em vez de ter um problema de duas classes, estou lidando com 4 classes e ainda gostaria de avaliar o desempenho usando a AUC.

Parece que você está procurando uma análise ROC de várias classes, que é um tipo de otimização de vários objetivos, abordada em um tutorial no ICML'04. Como em vários problemas de várias classes, a ideia é geralmente realizar comparações pareadas (uma classe versus todas as outras classes, uma classe versus outra classe, consulte (1) ou os Elementos do aprendizado estatístico ), e há uma recente artigo de Landgrebe e Duin sobre esse tópico, Aproximando o ROC multiclasse por análise em pares , Pattern Recognition Letters 2007 28: 1747-1758. Agora, para fins de visualização, já vi alguns trabalhos há algum tempo, a maioria deles girando em torno do volume sob a superfície ROC (VUS) ou diagrama de Cobweb .

No entanto, não sei se existe uma implementação R desses métodos, embora eu ache que a stars()função possa ser usada para o gráfico de teias de aranha. Acabei de encontrar uma caixa de ferramentas Matlab que parece oferecer análise ROC de várias classes, o PRSD Studio .

Outros documentos que também podem ser úteis como um primeiro começo para visualização / computação:

• Visualização de superfícies ROC de várias classes
• Uma extensão simplificada da Área sob o ROC para o domínio multiclasse

Referências:
1. Allwein, EL, Schapire, RE e Singer, Y. (2000). Reduzindo multiclasse para binário: uma abordagem unificadora para classificadores de margem. Journal of Machine Learning Research , 1 : 113–141.

Recentemente, eu encontrei este pacote pROC em R que plota um ROC multiclasse usando a técnica especificada por Hand e Till (2001) . Você pode usar a função multiclass.roc.

As respostas aqui são bastante completas, mas eu ainda gostaria de adicionar meus 5 centavos. Nesta pergunta, você pode encontrar um exemplo de código R para produzir curvas ROC usando a abordagem One-Vs-All e a biblioteca ROCR R.

Este é o enredo dessa resposta:

Embora a matemática esteja além de mim, este artigo de revisão geral tem algumas referências nas quais você provavelmente se interessará e uma breve descrição de gráficos ROC de várias classes.

Uma introdução à análise ROC por Tom Fawcett Pattern Recognition Letters Volume 27, Edição 8, Junho de 2006, Páginas 861-874

Link para pdf como fornecido por gd047- obrigado