Onde e por que o aprendizado profundo brilha?

Hoje em dia, com toda a mídia falando e falando sobre aprendizado profundo, eu li algumas coisas básicas. Acabei de descobrir que é apenas mais um método de aprendizado de máquina para aprender padrões a partir dos dados. Mas minha pergunta é: onde e por que esse método brilha? Por que toda a conversa sobre isso agora? Ou seja, o que é o alarido?

— Jack Twain
fonte

Veja as palestras qualitativas do YouTube de Geoff Hinton e Andrew Ng para uma visão geral fácil de por que é tão bom.

— Jase

Respostas:

Os principais benefícios alegados:

(1) Não é necessário fornecer recursos de engenharia manual para problemas de aprendizado não lineares (economizar tempo e escalável para o futuro, pois a engenharia manual é vista por alguns como um curativo de curto prazo)

(2) Às vezes, os recursos aprendidos são melhores que os melhores recursos projetados à mão e podem ser tão complexos (visão computacional - por exemplo, recursos semelhantes a rostos) que levaria muito tempo humano para serem projetados.

(3) Pode usar dados não rotulados para pré-treinar a rede. Suponha que tenhamos 1000000 imagens não rotuladas e 1000 imagens rotuladas. Agora, podemos melhorar drasticamente um algoritmo de aprendizado supervisionado pré-treinando as 1000000 imagens não identificadas com aprendizado profundo. Além disso, em alguns domínios, temos muitos dados não rotulados, mas é difícil encontrar dados rotulados. Um algoritmo que pode usar esses dados não rotulados para melhorar a classificação é valioso.

(4) Empiricamente, quebrou muitos parâmetros de referência que estavam apenas vendo melhorias incrementais até a introdução de métodos de aprendizado profundo.

(5) O mesmo algoritmo funciona em várias áreas com entradas brutas (talvez com pequenos pré-processamento).

(6) Continua melhorando à medida que mais dados são alimentados na rede (assumindo distribuições estacionárias etc).

— Jase
fonte

Outro ponto importante além do exposto acima (não tenho representante suficiente para meramente adicioná-lo como comentário) é que ele é um modelo generativo (pelo menos, Deep Belief Nets) e, portanto, você pode experimentar as distribuições aprendidas - isso pode possui alguns benefícios importantes em certos aplicativos em que você deseja gerar dados sintéticos correspondentes às classes / clusters aprendidos.

— Alex McMurray
fonte

Esta não é uma propriedade geral da aprendizagem profunda, mas do modelo concreto em questão. Por exemplo, você pode obter amostras de uma regressão gaussiana, mas não de uma regressão logística. Você também pode experimentar a partir de uma variedade de modelos de aprendizado profundo, como redes de crenças profundas, como você disse, máquinas Boltzmann profundas, modelos Gaussianos latentes profundos, etc. Mas você não pode experimentar as redes de draga, que são os modelos que foram usados em todos os impressionantes aplicações.

— precisa saber é o seguinte

... Por que você não pode colher amostras de uma regressão logística?

— Hong Ooi

Dado um modelo LR

p (c | x)

$p(c|x)$ , você pode experimentar a classe condicionada na entrada. Mas você não pode provar uma entrada. Assim, é mais uma distinção discriminativa / generativa.

— bayerj 22/09

Mas o mesmo vale para um modelo de regressão gaussiano, se com isso você quer dizer regressão linear básica.

— Hong Ooi 22/09