Qual a diferença entre uma rede neural profunda e outras redes neurais?

Como uma rede neural que tem o adjetivo "profundo" realmente se distingue de outras redes similares?

— kenorb
fonte

A diferença está principalmente no número de camadas.

Por um longo tempo, acreditava-se que "1-2 camadas ocultas são suficientes para a maioria das tarefas" e era impraticável usar mais do que isso, porque o treinamento de redes neurais pode ser muito exigente em termos computacionais.

Atualmente, os computadores são capazes de muito mais, então as pessoas começaram a usar redes com mais camadas e descobriram que funcionam muito bem em algumas tarefas.

A palavra "profundo" existe simplesmente para distinguir essas redes das tradicionais, "mais rasas".

— Espreitador Desencantado
fonte

Se eu entendi "aprendizado profundo" corretamente, existem alguns parâmetros (pesos) que estão amarrados, reduzindo assim o espaço dos parâmetros. NNs normais não podem fazer isso.

— Raphael

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacevocê quer dizer Redes Neurais Convolucionais?

— publicgk

@publicgk Foi o que vi, sim.

— Raphael

Eu sempre ouvi "aprendizado profundo" é quando você usa conjuntos de dados muito grandes. Isso é um erro e o tamanho dos dados não importa - ou as pessoas associam o aprendizado profundo a grandes conjuntos de dados, porque é isso que é necessário para o treinamento.

— Steven Sagona 20/02

Gostaria de salientar que essa "crença" de que uma rede neural com apenas 1 camada oculta pode computar qualquer função está realmente comprovada (consulte, por exemplo, neuralnetworksanddeeplearning.com/chap4.html ). Eu acho que você deveria ter explicado um pouco mais por que mais de uma camada oculta é "conveniente".

— nbro 23/02

Uma rede neural profunda é apenas uma rede neural (feed-forward) com muitas camadas.

Entretanto, redes profundas de crenças, redes Deep Boltzman, etc., não são consideradas redes neurais profundas (discutíveis), pois sua topologia é diferente (elas possuem redes não direcionadas em sua topologia).

Veja também: /stats//a/59854/84191 .

— Dawny33
fonte