Eu estava navegando no AI StackExchange e me deparei com uma pergunta muito semelhante: O que distingue o “Deep Learning” de outras redes neurais?
Como o AI StackExchange será fechado amanhã (novamente), copiarei as duas principais respostas aqui (contribuições do usuário licenciadas sob o cc by-sa 3.0 com a atribuição necessária):
Autor: mommi84less
Dois artigos bem citados em 2006 trouxeram o interesse da pesquisa de volta à aprendizagem profunda. Em "Um algoritmo de aprendizado rápido para redes de crenças profundas" , os autores definem uma rede de crenças profundas como:
[...] redes de crenças densamente conectadas e com muitas camadas ocultas.
Encontramos quase a mesma descrição para redes profundas em " Treinamento ganancioso de camadas profundas para redes profundas" :
Redes neurais profundas de várias camadas têm muitos níveis de não linearidades [...]
Em seguida, no documento de pesquisa "Aprendizado de representação: uma revisão e novas perspectivas" , o aprendizado profundo é usado para abranger todas as técnicas (veja também esta palestra ) e é definido como:
[...] construindo múltiplos níveis de representação ou aprendendo uma hierarquia de recursos.
O adjetivo "deep" foi assim usado pelos autores acima para destacar o uso de múltiplas camadas ocultas não lineares .
Autor: lejlot
Apenas para adicionar à resposta @ mommi84.
O aprendizado profundo não se limita às redes neurais. Esse é um conceito mais amplo do que apenas os DBNs de Hinton, etc. O aprendizado profundo é sobre o
construindo vários níveis de representação ou aprendendo uma hierarquia de recursos.
Portanto, é um nome para
algoritmos de aprendizado de representação hierárquica . Existem modelos profundos baseados em modelos ocultos de Markov, campos aleatórios condicionais, máquinas de vetores de suporte etc. O único fato comum é que, em vez da engenharia de recursos (popular nos anos 90) , em que os pesquisadores tentavam criar um conjunto de recursos, que é o melhor para resolver algum problema de classificação - essas máquinas podem calcular sua própria representação a partir de dados brutos. Aplicados especificamente ao reconhecimento de imagens (imagens brutas), eles produzem uma representação em vários níveis, que consiste em pixels, linhas e traços de rosto (se estivermos trabalhando com rostos), como narizes, olhos e, finalmente, rostos generalizados. Se aplicado ao Processamento de linguagem natural - eles constroem um modelo de linguagem que conecta palavras em partes, partes em frases etc.
Outro slide interessante:
fonte
