Número ideal de camadas em uma rede neural?

Como decidir o número ideal de camadas a serem criadas durante a implementação de uma rede neural (feedforward, propagação traseira ou RNN)?

neural-networks hidden-layers

— v01d
fonte

Existe uma técnica chamada Pruningem redes neurais, usada apenas para esse mesmo objetivo.

A poda é feita no número de camadas ocultas. O processo é muito semelhante ao processo de poda de árvores de decisão. O processo de poda é feito da seguinte maneira:

Treine uma rede grande e densamente conectada com um algoritmo de treinamento padrão
Examine a rede treinada para avaliar a importância relativa dos pesos
Remova os pesos menos importantes
treinar novamente a rede podada
Repita as etapas 2 a 4 até ficar satisfeito

No entanto, existem vários métodos otimizados para podar redes neurais e também é uma área de pesquisa muito ativa .

— Dawny33
fonte

Uma abordagem simétrica é a "pesquisa em grade" comum aplicada à arquitetura de rede. Comece pequeno (tão rápido) e tente automaticamente arquiteturas maiores. Tudo isso é apenas a força bruta, embora ...

— Eric Platon

@ EricPlaton +1 para pesquisa na grade. Muito útil em algos ML de alta sintonia. Mas, não é computacionalmente muito intensivo?

— precisa saber é o seguinte

Sim, é caro. No entanto, quando podemos começar pequenos, os primeiros estágios podem ser bem rápidos e dar uma idéia melhor do que procurar.

— Eric Platon

@EricPlaton "Grid Search" mereceria uma resposta separada para o seu próprio :)

— Dawny33

Eu pensei sobre isso, mas então haveria duas respostas alternativas e talvez "igualmente corretas" ... Eu pensei que o melhor para o leitor era compilar a resposta como uma.

— Eric Platon

Você pode dar uma olhada na otimização do hiperparâmetro bayesiano como um método geral de otimizar a perda (ou qualquer outra coisa) em função dos hiperparâmetros. Mas observe que, em geral, quanto mais profunda sua rede, melhor, portanto, otimizar a perda em função do número de camadas não é algo muito divertido de se fazer.

A pesquisa em grade e um pouco de bom senso (conforme aprendido por ver muitos exemplos) devem ser sua melhor aposta.

— kc sayz 'kc sayz'
fonte