ImageNet: qual é a taxa de erro top 1 e 5?

Nos documentos de classificação da ImageNet, as taxas de erro 1 e 5 são unidades importantes para medir o sucesso de algumas soluções, mas quais são essas taxas?

Na classificação ImageNet com redes neurais profundas convolucionais por Krizhevsky et al. todas as soluções baseadas em uma única CNN (página 7) não têm taxas de erro entre as 5 principais, enquanto as com 5 e 7 CNNs têm (e também a taxa de erro para 7 CNNs é melhor que para 5 CNNs).

Isso significa que a taxa de erro top 1 é a melhor taxa de erro única para uma única CNN?

A taxa de erro entre os 5 principais é simplesmente a taxa de erro acumulada de cinco CNNs?

[...] onde a taxa de erro entre as 5 principais é a fração de imagens de teste para as quais o rótulo correto não está entre os cinco rótulos considerados mais prováveis ​​pelo modo.

Primeiro, você faz uma previsão usando a CNN e obtém a distribuição multinomial de classe prevista ( ).$\sum p_{class} = 1$

Agora, no caso da pontuação máxima 1 , você verifica se a classe superior (a que tem a maior probabilidade) é a mesma do rótulo de destino.

No caso da pontuação do top 5 , você verifica se o rótulo de destino é uma das 5 principais previsões (as 5 com as probabilidades mais altas).

Nos dois casos, a pontuação máxima é calculada como o tempo em que um rótulo previsto correspondia ao rótulo de destino, dividido pelo número de pontos de dados avaliados.

Finalmente, quando 5-CNNs são usados, você primeiro calcula a média de suas previsões e segue o mesmo procedimento para calcular as pontuações top 1 e top 5.

Seu classificador fornece uma probabilidade para cada classe. Digamos que tivemos apenas "gato", "cachorro", "casa", "mouse" como classes (nesta ordem). Então o classificador fornece algo como

0.1; 0.2; 0.0; 0.7

como um resultado. A classe Top 1 é "mouse". As 2 principais classes são {mouse, dog}. Se a classe correta fosse "cachorro", ela seria contada como "correta" para a precisão do Top 2, mas incorreta para a precisão do Top 1.

Assim, em um problema de classificação com aulas possível, cada classificador tem 100% de top- precisão. A precisão "normal" é top 1.$k$$k$