Como posso facilitar a leitura de grandes matrizes de confusão?

Publiquei recentemente um conjunto de dados ( link ) com 369 classes. Fiz algumas experiências com eles para ter uma idéia de quão difícil é a tarefa de classificação. Normalmente, eu gosto se houver matrizes de confusão para ver o tipo de erro que está sendo cometido. No entanto, um matriz não é prático.$369 \times 369$

Existe uma maneira de fornecer informações importantes de grandes matrizes de confusão? Por exemplo, geralmente existem muitos 0s que não são tão interessantes. É possível classificar as classes para que a maioria das entradas diferentes de zero fique na diagonal para permitir a exibição de várias matrizes que fazem parte da matriz de confusão completa?

Aqui está um exemplo para uma grande matriz de confusão .

Exemplos em estado selvagem

A Figura 6 do EMNIST parece legal:

É fácil ver onde estão muitos casos. No entanto, essas são apenas classes. Se a página inteira fosse usada em vez de apenas uma coluna, isso provavelmente poderia ser três vezes maior, mas ainda seriam apenas 3 × 26 = 78 classes. Nem mesmo perto de 369 classes de HASY ou 1000 de ImageNet.$26$$3 \cdot 26 = 78$

Veja também

Minha pergunta semelhante no CS.stackexchange

Você pode aplicar uma técnica que descrevi na minha tese de mestrado (página 48 e seguintes) e chamada Confusion Matrix Ordering (CMO):

1. Ordene as colunas / linhas de tal maneira que a maioria dos erros esteja na diagonal.
2. Divida a matriz de confusão em vários blocos para que os blocos únicos possam ser impressos / visualizados facilmente - e para que você possa remover alguns dos blocos porque existem poucos pontos de dados.

Bom efeito colateral: esse método também agrupa automaticamente classes semelhantes. A Figura 5.12 da minha tese de mestrado mostra que:

Você pode aplicar a ordem da matriz de confusão com clana

Em vez de tentar reordenar as colunas e linhas, sugiro tentar encontrar outra maneira de visualizar os dados.

$(i,j)$$i$$j$. Além disso, você pode ter ~ 20 matrizes de confusão de baixa granularidade: para cada cluster, é possível mostrar a matriz de confusão de classes, para as ~ 20 classes em cada cluster. Obviamente, você também pode estender isso usando cluster hierárquico e ter matrizes de confusão em várias granularidades.

Também pode haver outras estratégias de visualização possíveis.

Como um ponto filosófico geral: também pode ajudar a esclarecer seus objetivos (o que você deseja obter com a visualização). Você pode distinguir dois tipos de usos da visualização:

• Análise exploratória: você não tem certeza do que está procurando; você deseja apenas uma visualização que possa ajudá-lo a procurar padrões ou artefatos interessantes nos dados.

• Números com uma mensagem: Você tem uma mensagem específica que deseja que o leitor retire e deseja criar uma visualização que ajude a apoiar essa mensagem ou forneça evidências para a mensagem.

Isso pode ajudá-lo a saber o que você está tentando apontar e, em seguida, criar uma visualização direcionada para isso:

• Se você estiver fazendo uma análise exploratória, em vez de tentar escolher uma visualização perfeita, geralmente é útil tentar criar tantas visualizações quanto possível. Não se preocupe se algum deles é perfeito; tudo bem se cada um deles apresentar falhas, pois cada um pode fornecer uma perspectiva potencialmente diferente dos dados (provavelmente será bom em alguns aspectos e ruim em outros).

• Se você tem uma mensagem específica que está tentando transmitir ou um tema que está tentando desenvolver, procure uma visualização que suporte esse tema. É difícil fazer uma sugestão específica sem saber o que esse tema / mensagem pode ser.

É importante saber por que a matriz de confusão do EMNIST parece ser boa.

Mas acho estranho que eles não tenham mantido a coloração com números mais altos sendo mais escuros, por exemplo, a maioria das classificações vazias que contêm zeros são de um cinza mais escuro do que as que contêm um número inteiro. Não parece consistente.

Eu tentaria usar o estilo EMINST, exceto mantê-lo consistente onde a cor indica o número de entradas em uma célula. Branco para zero entradas e preto para a maioria das entradas.

Uma classificação perfeita seria uma diagonal preta com triângulos superior e inferior completamente brancos. Onde havia manchas cinzentas nos triângulos, isso indica problemas. Mesmo em um conjunto de 1000 aulas, isso seria útil. Para o ImageNet, onde as classes são hierárquicas, talvez classificar as colunas para que as subclasses sejam agrupadas à direita da classe pai, resultando em manchas escuras quadradas.

Além disso, se você estiver obtendo as 5 principais respostas para uma imagem, as classes podem não ser mutuamente exclusivas, de modo que a classificação do cão para uma imagem de um lap_dog ainda seja verdadeira; portanto, em uma matriz de confusão, as classes mais gerais devem ser muito mais sombrias. do que as classificações precisas (se as cores forem normalizadas). Portanto, o quadrado superior esquerdo seria mais escuro.