Arquiteturas neurais: projeto automático informado por dados

O recente progresso nas redes neurais é resumido por uma sequência de novas arquiteturas caracterizadas principalmente por sua crescente complexidade de projeto. De LeNet5 (1994) a AlexNet (2012), Overfeat (2013) e GoogleLeNet / Inception (2014) e assim por diante ...

Existe alguma tentativa de permitir que a máquina decida / projete qual arquitetura usar, dependendo dos dados?

Você também pode querer olhar para a literatura sobre neuro-evolução . Exemplos:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Uma exploração empírica de arquiteturas de rede recorrentes " (2015): usou a computação evolutiva para encontrar estruturas ótimas de RNN.
• Franck Dernoncourt. " A formação reticular medial: um substrato neural para a seleção de ações? Uma avaliação via computação evolutiva ". Tese de mestrado. École Normale Supérieure Ulm. 2011.
• Bayer, Justin, Daan Wierstra, Julian Togelius e Jürgen Schmidhuber. " Evoluindo estruturas de células de memória para aprendizado de sequência. " Na Conferência Internacional sobre Redes Neurais Artificiais, pp. 755-764. Springer Berlin Heidelberg, 2009 .: usou a computação evolutiva para encontrar estruturas RNN ideais.

Aprendizado por reforço:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le e Jeff Dean. "Pesquisa eficiente de arquitetura neural via compartilhamento de parâmetros." pré-impressão do arXiv arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret e Le, Quoc V. A arquitetura neural busca com a aprendizagem por reforço. No ICLR, 2017. https://arxiv.org/abs/1611.01578
• Jose M Alvarez, Mathieu Salzmann. Aprendendo o número de neurônios em redes profundas. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik e Ramesh Raskar. Projetando arquiteturas de redes neurais usando o aprendizado por reforço. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Pesquisa de arquitetura neural com aprendizado por reforço. https://arxiv.org/abs/1611.01578

Diversos:

• Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford e Nando de Freitas. Aprendendo a aprender por descida de gradiente por descida de gradiente. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Otimizando hiperparâmetros de redes neurais com processos gaussianos para classificação de atos de diálogo , IEEE SLT 2016.
• Cortés, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri e Scott Yang. "AdaNet: Aprendizagem Estrutural Adaptativa de Redes Neurais Artificiais". pré-impressão do arXiv arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Abordagem que aprende a estrutura da rede e seus pesos.

Parece que a pesquisa está caminhando em direção a essa direção:

• Miconi, Thomas. " Redes neurais com estrutura diferenciável. ", ArXiv (2016): o autor introduz o conceito de estrutura de rede diferenciável para incluí-la na função objetivo.

O AutoML do Google é um exemplo. Foi aplicado com sucesso no conjunto de dados ImageNet , o NASNet resultante , que até o presente momento, superou todos os outros modelos em termos de precisão. O artigo principal está aqui:

Aprendendo arquiteturas transferíveis para reconhecimento de imagem escalável - Zoph, et. al.