Quais são as atuais redes neurais convolucionais de ponta?

Estou interessado em entender qual arquitetura de rede neural é atualmente o estado da arte (às vezes abreviado como "SOTA") com relação às tarefas de classificação de imagem padrão, como MNIST, STLN-10 e CIFAR. Isso é desafiador porque novos resultados são publicados com frequência e pode ser difícil acompanhar. Existe um recurso ou site que rastreie os melhores resultados para essas tarefas?

Uma "tabela de classificação" é classificada neste site, " Resultados de conjuntos de dados de classificação ". Os mantenedores tentam acompanhar os resultados publicados de várias arquiteturas de redes neurais.

A tabela de classificação não se restringe apenas às CNNs por si só - qualquer rede é admissível. Mas como todas as tarefas rastreadas na tabela de classificação são tarefas de imagem (no momento em que escrevo), é provável que muitas das redes sejam CNNs, pois são muito eficazes nas tarefas de imagem.

A melhor sugestão é do shimao:

normalmente, qualquer artigo novo que afirme um bom desempenho ou o estado da arte em qualquer tarefa terá uma tabela de resultados bastante abrangente em comparação com os resultados anteriores, o que pode ser uma boa maneira de acompanhar.

Qualquer tabela de classificação logo se tornará inútil, porque é basicamente sempre mantida por estudantes (de graduação / pós-graduação), que param de atualizá-la assim que obtêm seu diploma / conseguem um emprego. De qualquer forma, se o CIFAR-10 e o CIFAR-100 forem bons o suficiente para você, isso é muito bom:

https://github.com/arunpatala/cifarSOTA

Este é mais geral (inclui o ImageNet) e possui resultados mais recentes:

https://github.com/Lextal/SotA-CV

Este é o que eu costumava usar, mas o proprietário parou de atualizá-lo, como costuma acontecer:

https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems/

Finalmente, você pode estar interessado neste notebook Jupyter lançado hoje por Ali Rahimi, com base em dados extraídos do LSVRC e do site da COCO.

Uma última observação: se você está procurando os resultados mais recentes porque deseja comparar seus resultados com o SotA, ótimo. No entanto, se seu objetivo é aplicar a “melhor” arquitetura no ImageNet a um aplicativo industrial usando transferência de aprendizado, você deve saber (se ainda não o fez) que as arquiteturas mais recentes são piores , em termos de invariância da tradução, do que as mais antigas . Isso é um risco se o seu conjunto de dados não tiver viés de fotógrafo ou se você não tiver computação e dados suficientes para treinar novamente a arquitetura em uma distribuição de imagem mais útil. Veja a excelente pré-impressão:

Azulay & Weiss, 2018, mais “Por que redes convolucionais profundas generalizam tão mal a pequenas transformações de imagem?”

O DenseNet é um sucessor genérico do ResNet e obtém um erro de 3,46% no CIFAR-10 e 17.18 no C-100. Compare com 3,47 e 24,28 mencionados na tabela de classificação.

Shake-shake , Shake-drop e possivelmente outras variantes são técnicas de regularização que podem ser usadas em qualquer arquitetura do tipo ResNet e obtém erro de 2,86 / 2,31% no C-10 e 15,85 / 12,19 no C-100 (shake-shake / shake- solta). Essas técnicas funcionam apenas em arquiteturas de várias ramificações, e é por isso que as menciono, mesmo que elas não sejam estritamente arquiteturas em si mesmas.

A Pesquisa eficiente de arquitetura neural (usando o aprendizado por reforço para procurar arquiteturas) encontra uma rede que alcança 2,89% de erro no C-10, usando a técnica de regularização de recorte . O desempenho é de 3,54% sem recorte.

Em resumo: a rede densa e possivelmente alguma rede produzida pelo ENAS podem ter um desempenho um pouco melhor que o ResNet, mas o uso de técnicas sofisticadas de regularização dificulta a comparação.

Não conheço nenhuma tabela de classificação realmente atualizada, mas geralmente qualquer artigo novo que afirme bom desempenho ou o estado da arte em qualquer tarefa terá uma tabela de resultados bastante abrangente comparada com os resultados anteriores, que pode ser boa maneira de acompanhar.

Para verificar arquiteturas de rede neural de ponta (e outros modelos de aprendizado de máquina) em vários domínios de aplicativos, agora existe uma página chamada paperswithcode .