Ajustando dinamicamente a arquitetura NN: inventando o desnecessário?

Estou começando minha jornada de doutorado, e o objetivo final que me propus é desenvolver RNAs que monitorem o ambiente em que trabalham e ajustem dinamicamente sua arquitetura ao problema em questão. A implicação óbvia é a temporalidade dos dados: se o conjunto de dados não é contínuo e não muda com o tempo, por que ajustar?

A grande questão é: com o recente aumento da aprendizagem profunda, ainda é um tópico relevante? Os FFNNs têm a chance de encontrar um nicho nos problemas de desvio de conceito?

Receio sobrecarregar o segmento com muitas perguntas, mas essa não é totalmente fora de tópico: conheço as RNNs, mas tenho uma experiência limitada (ok, nenhuma ou puramente teórica) com elas; Acredito que a adaptação da arquitetura dinâmica deve ser um tópico relevante no contexto das RNNs. A questão é: já foi respondida, e vou reinventar a roda?

PS cruzado para MetaOptimize

As redes neurais de correlação em cascata ajustam sua estrutura adicionando nós ocultos durante o processo de treinamento; portanto, este pode ser um ponto de partida. A maioria dos outros trabalhos que vi que ajusta automaticamente o número de camadas, o número de nós ocultos etc. de uma rede neural usa algoritmos evolutivos.

Infelizmente, este trabalho está fora da minha área, portanto não posso recomendar nenhum documento ou referência específica para ajudá-lo a começar. Posso dizer que não vi nenhum trabalho que tente otimizar conjuntamente a estrutura e os parâmetros da rede simultaneamente na comunidade de aprendizado profundo. De fato, a maioria das arquiteturas de aprendizado profundo se baseia em aprender avidamente uma única camada de cada vez, tornando assim o aprendizado on-line de redes neurais profundas uma área bastante intocada (o trabalho de Martens et al. Sobre Hessian Free Optimization sendo uma exceção notável).

Outro motivo para considerar o desenvolvimento de novas abordagens para redes neurais construtivas (como o algoritmo CC @alto mencionado) está em aplicativos fora das estatísticas . Em particular, na neurociência teórica e na ciência cognitiva, redes neurais construtivas são frequentemente usadas devido a uma similaridade metafórica ao desenvolvimento e à neurogênese. Para um exemplo de uso pesado de correlação em cascata para isso, dê uma olhada nas publicações de Thomas R. Shultz . Infelizmente, a abordagem de correlação em cascata é biológica irrealista e se você tem uma inclinação da neurociência, vale a pena considerar como novos NNs com arquitetura ajustável podem ser usados ​​como melhores modelos de desenvolvimento e / ou neurogênese.