Por que as redes profundas de crenças (DBN) raramente são usadas?

Eu estava lendo este livro sobre aprendizado profundo de Ian e Aron. Na descrição do DBN, eles dizem que o DBN caiu em desuso e raramente é usado.

Redes de crenças profundas demonstraram que arquiteturas profundas podem ser bem-sucedidas, superando as máquinas de vetores de suporte kernelizadas no conjunto de dados MNIST (Hinton et al., 2006). Hoje, as redes de crenças profundas caíram em desuso e raramente são usadas, mesmo em comparação com outros algoritmos de aprendizado não supervisionados ou generativos, mas ainda são merecidamente reconhecidas por seu importante papel na história do aprendizado profundo.

Eu não entendo o porquê.

machine-learning deep-learning deep-belief-networks

— asdfkjasdfjk
fonte

Esta parece ser uma pergunta altamente subjetiva. Minha primeira resposta (completamente informal) seria que os autores escreveram essa passagem alguns anos atrás e esqueceram de atualizá-la ... O gráfico do Google Trends mostra claramente um pico por volta de 2004-2005, mas parece que obviamente ganhou algum fluxo no último dois anos (a partir de 2014). Aprendizado profundo, um superconjunto de DBN é "todo o caminho" agora, eu diria. (Mesmo o nosso engenheiro infraestrutura de servidor no trabalho me perguntou outro dia se não fizermos "mineração profunda" ...)

— usεr11852

Lembre-se de que a retropropagação vinha com um grande problema; o gradiente de fuga; Eu acho que a principal razão pela qual as redes de crenças profundas raramente são usadas é porque a retropropagação usada com RELU (Unidade Linear Retificada) resolve o problema do gradiente de fuga e não é mais um problema e você não precisa implementar um DBN.

O segundo motivo é que, embora você possa resolver o mesmo problema usando abordagens semelhantes, arquiteturas de grandes redes profundas se tornam muito mais complexas para treinar com redes de crenças profundas. Usando a retropropagação com RELU, você pode treinar de uma só vez.

— mavi
fonte