Quais são as medidas para a precisão dos dados com várias etiquetas?

Considere um cenário em que você recebe as matrizes KnownLabel Matrix e PredictedLabel. Eu gostaria de medir a qualidade da matriz PredictedLabel em relação à matriz KnownLabel.

Mas o desafio aqui é que a KnownLabel Matrix tem poucas linhas, apenas uma 1 e outras poucas linhas têm muitos 1's (essas instâncias têm várias legendas). Um exemplo da KnownLabel Matrix é dado abaixo.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Na matriz acima, as instâncias de dados 1 e 2 são dados de rótulo único, as instâncias de dados 3 e 4 são dois dados de rótulo e a instância de dados 5 é os três dados de rótulo.

Agora eu tenho PredictedLabel Matrix de instância de dados usando um algoritmo.

Gostaria de conhecer várias medidas que podem ser usadas para medir a bondade da Matriz PredictedLabel contra a Matriz KnownLabel.

Eu posso pensar na diferença da norma frobeinus entre eles como uma das medidas. Mas estou procurando a medida como precisão $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Aqui, como podemos definir o para várias instâncias de dados? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Aprendiz
fonte

(+1) Sidenote: Existe um motivo específico para você não ter aceitado uma resposta na maioria das suas perguntas? Por que você não postou um comentário quando a resposta fornecida não resolveu o seu problema? Por exemplo: stats.stackexchange.com/questions/9947/…

— steffen

Respostas:

(1) fornece uma boa visão geral:

A classificação de múltiplas etiquetas da página da Wikipedia contém também uma seção sobre as métricas de avaliação.

Eu acrescentaria um aviso de que, na configuração de vários rótulos, a precisão é ambígua: pode se referir à proporção exata de correspondência ou à pontuação de Hamming (consulte este post ). Infelizmente, muitos artigos usam o termo "precisão".

(1) Sorower, Mohammad S. " Uma pesquisa bibliográfica sobre algoritmos para aprendizado de vários rótulos " . Oregon State University, Corvallis (2010).

— Franck Dernoncourt
fonte

Essas definições vão de encontro às definições gerais de Precision and Recall? Eu sempre li que a precisão deve ser dividida por TP + FP e a recordação deve ser dividida por TP + FN (as definições propostas aqui fazem o oposto se eu entendi bem).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

para a accuracymedida, como você lida com casos elegantes em que o denominador |Y + Z| == 0?

— Ihadanny

@tomasyany está se referindo às definições de texto (não às fórmulas), que parecem ter sido trocadas.

— Narfanar

E essa definição de AP parece mais com mAP (AP médio), não? O que é chamado de 'Precisão' é a média de IoU. Os termos são um pouco confusos em geral.

— Narfanar

A perda de Hamming é provavelmente a função de perda mais amplamente utilizada na classificação de vários rótulos.

Dê uma olhada em Estudos empíricos sobre classificação de rótulos múltiplos e classificação de rótulos múltiplos: uma visão geral , os quais discutem isso.

— tdc
fonte

Correctly Predictedé a interseção entre o conjunto de rótulos sugeridos e o conjunto esperado. Total Instancesé a união dos conjuntos acima (sem contagem duplicada).

Portanto, dado um exemplo único em que você prediz classes A, G, Ee o caso de teste tem E, A, H, Pcomo os corretos, você acaba comAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
fonte