5 anos depois, as redes maxout estão mortas e por quê?

As redes maxout eram uma idéia simples, porém brilhante, de Goodfellow et al. de 2013 até o máximo de mapas de recursos para obter um aproximador universal de ativações convexas. O design foi adaptado para uso em conjunto com o abandono (introduzido recentemente) e resultou, é claro, em resultados de última geração em benchmarks como CIFAR-10 e SVHN.

Cinco anos depois, o abandono definitivamente ainda está no jogo, mas e o maxout? O artigo ainda é amplamente citado em artigos recentes, de acordo com o Google Scholar, mas parece que quase nenhum está realmente usando a técnica.

Então, maxout é uma coisa do passado, e se sim, por quê - o que o tornou um dos melhores artistas em 2013, mas não em 2018?

Basicamente, se você ler o artigo completo (especialmente o resumo e a seção 7), verá que a principal conquista continua sendo uma contribuição marginal em cima do abandono.

Se você vir os resultados empíricos na Tabela 5 (da página 5) do artigo original da maxout, verá que a taxa de classificação incorreta é apenas muito, muito ligeiramente menor que a dos desistentes. (2,47% em vez de 2,78%)

Isso poderia explicar o interesse relativamente menor no trabalho.