Como você calcula a precisão e o recall para a classificação multiclasse usando a matriz de confusão?

Gostaria de saber como calcular precisão e recordar usando uma matriz de confusão para um problema de classificação de várias classes. Especificamente, uma observação só pode ser atribuída à sua classe / rótulo mais provável. Eu gostaria de calcular:

• Precisão = TP / (TP + FP)
• Rechamada = TP / (TP + FN)

para cada classe e depois calcule a F-medida micro-média.

Em um caso de 2 hipóteses, a matriz de confusão é geralmente:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

onde eu usei algo semelhante à sua notação:

• TP = verdadeiro positivo (declarar H1 quando, na verdade, H1),
• FN = falso negativo (declarar H0 quando, na verdade, H1),
• FP = falso positivo
• TN = verdadeiro negativo

A partir dos dados brutos, os valores na tabela normalmente seriam as contagens para cada ocorrência nos dados de teste. A partir disso, você deve poder calcular as quantidades necessárias.

Editar

A generalização para problemas de várias classes é somar sobre linhas / colunas da matriz de confusão. Dado que a matriz está orientada como acima, ou seja, que uma determinada linha da matriz corresponde a um valor específico para a "verdade", temos:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Ou seja, precisão é a fração de eventos em que declaramos corretamente de todas as instâncias em que o algoritmo declarou . Por outro lado, recordar é a fração de eventos em que declaramos corretamente de todos os casos em que o verdadeiro estado do mundo é .$i$$i$$i$$i$

Bom artigo de resumo, analisando essas métricas para problemas com várias classes:

• Sokolova, M. e Lapalme, G. (2009). Uma análise sistemática de medidas de desempenho para tarefas de classificação. Processamento e gerenciamento de informações, 45 , p. 427-437. ( pdf )

O resumo diz:

Este artigo apresenta uma análise sistemática de vinte e quatro medidas de desempenho usadas no espectro completo de tarefas de classificação de Aprendizado de Máquina, como binárias, multi-classe, multi-rotuladas e hierárquicas. Para cada tarefa de classificação, o estudo relaciona um conjunto de alterações em uma matriz de confusão a características específicas dos dados. Em seguida, a análise se concentra no tipo de alterações em uma matriz de confusão que não altera uma medida, portanto, preserva a avaliação de um classificador (invariância da medida). O resultado é a taxonomia de invariância da medida em relação a todas as alterações relevantes na distribuição de etiquetas em um problema de classificação. Essa análise formal é suportada por exemplos de aplicativos em que as propriedades de invariância das medidas levam a uma avaliação mais confiável dos classificadores.

Usando sklearn e numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Para obter medidas gerais de precisão e recuperação, use

np.mean(recall)
np.mean(precision)