Relação entre taxa de aprendizado e número de camadas ocultas?

Existe alguma regra prática entre a profundidade de uma rede neural e a taxa de aprendizado? Tenho notado que quanto mais profunda a rede, menor a taxa de aprendizado.

Se isso está correto, por que isso?

Esta pergunta foi respondida aqui:

Com redes neurais, a taxa de aprendizado deve ser de alguma forma proporcional aos tamanhos de camada oculta? Eles deveriam se afetar?

Resposta curta é sim, existe uma relação. Embora a relação não seja tão trivial, tudo o que posso dizer é que a superfície de otimização se torna mais complexa à medida que o número de camadas ocultas aumenta, portanto, taxas de aprendizado menores geralmente são melhores. Embora o armazenamento em mínimos locais seja uma possibilidade com baixa taxa de aprendizado, é muito melhor que superfície complexa e alta taxa de aprendizado.