Noções básicas de aprendizado profundo

Estou procurando um artigo detalhando os princípios básicos do aprendizado profundo. Idealmente, como o curso de Andrew Ng para aprendizado profundo. Você sabe onde eu posso encontrar isso?

Este link contém uma quantidade incrível de literatura de aprendizado profundo. Resumindo-o aqui (seguindo a ordem ideal para um iniciante) - NOTA: Todos esses recursos usam principalmente python.

1) Antes de tudo, é necessário um conhecimento básico de aprendizado de máquina. Eu achei o aprendizado da Caltech a partir dos dados o ideal para todos os cursos de aprendizado de máquina disponíveis na rede.

O curso Coursera de Andrew Ng também é muito bom.

2) Para redes neurais, ninguém explica melhor do que o Dr.Patrick Winston . As tarefas devem ser testadas para melhor compreensão. Eles estão em python.

3) Para uma melhor compreensão das redes neurais, o curso de Michael Nielsen deve ser realizado (como sugerido por Alexey). É bem básico, mas funciona.

4) Para redes neurais profundas e implementá-las mais rapidamente em GPUs, existem várias estruturas disponíveis, como Theano , Caffe , Pybrain , Torch , etc. Destes, o Theano fornece uma funcionalidade melhor de baixo nível que permite ao usuário criar NNs personalizados. É uma biblioteca python, portanto, poder usar numpy, scikit-learn, matplotlib, scipy junto com ela é uma grande vantagem. O tutorial de aprendizado profundo escrito por Lisa Lab deve ser experimentado para uma melhor compreensão do theano.

5) Para redes neurais convolucionais, siga o tutorial de andrej karpathy .

6) Para aprendizado não supervisionado, siga aqui e aqui .

7) Para uma interseção de aprendizagem profunda e PNL, siga a aula de Richard Socher .

8) Para LSTMs, leia Hochreiter, S., & Schmidhuber, J. (1997). Memória de curto prazo. Computação neural, 9 (8), 1735-1780 e Graves, Alex. Rotulagem de sequência supervisionada com redes neurais recorrentes. Vol. 385. Springer, 2012 .

Aqui está o código Theano da LSTM .

O assunto é novo, por isso a maior parte da sabedoria está espalhada nos papéis, mas aqui estão dois livros recentes:

• Aprendizado profundo , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Aprendizagem Profunda: Métodos e Aplicações , Li Deng e Dong Yu.

E algum material prático: http://deeplearning.net/tutorial/

• Tutorial do ACL 2012 + NAACL 2013: Deep Learning for NLP (sem Magic)

Redes Neurais e Deep Learning por Michael Nielsen. O livro ainda está em andamento, mas parece bastante interessante e promissor. E é grátis! Aqui está o link: http://neuralnetworksanddeeplearning.com/

Até agora, existem apenas cinco capítulos, e a maioria deles fala sobre redes neurais comuns, mas ainda vale a pena dar uma olhada.

Atualização: o livro foi finalizado!

Principais referências:

Cursos sobre aprendizagem profunda:

• O curso de Andrew Ng sobre aprendizado de máquina tem uma boa seção introdutória sobre redes neurais.
• Curso de Geoffrey Hinton: Redes Neurais do Coursera para Machine Learning (outono de 2012)
• O livro gratuito de Michael Nielsen, Neural Networks and Deep Learning
• Yoshua Bengio, Ian Goodfellow e Aaron Courville escreveram um livro sobre aprendizagem profunda
• Curso de Hugo Larochelle (vídeos + slides) na Université de Sherbrooke
• Tutorial de Stanford (Andrew Ng et al.) Sobre aprendizado não supervisionado de recursos e aprendizado profundo
• Curso ML 2014-2015 de Oxford
• Curso de aprendizado profundo da NVIDIA (verão de 2015)
• Curso Deep Learning do Google sobre Udacity (janeiro de 2016)

Orientado à PNL:

• Stanford CS224d: aprendizagem profunda para processamento de linguagem natural (primavera de 2015) por Richard Socher
• Tutorial ministrado na NAACL HLT 2013: Deep Learning for Natural Language Processing (sem Magic) (vídeos + slides)

Orientado à visão:

• CS231n Redes neurais convolucionais para reconhecimento visual de Andrej Karpathy (uma versão anterior, mais curta e menos polida: guia do Hacker para redes neurais ).

Tutoriais específicos do kit de ferramentas:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Aprendizado de máquina com Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Curso de Aprendizagem Profunda de Nervana

Há também a recente dissertação de doutorado de Richard Socher sobre interseção da PNL e aprendizado profundo: Aprendizado Profundo Recursivo para Processamento de Linguagem Natural e Visão Computacional

Para compreender a derivação do algoritmo de propagação traseira, sugiro o vídeo do youtube de Ryan Harris, que é menos assustador. Você pode encontrar o segundo vídeo também.