Formação matemática para redes neurais

Não tenho certeza se isso é apropriado para este site, mas estou começando meu MSE em ciência da computação (bacharelado em matemática aplicada) e quero ter uma sólida experiência em aprendizado de máquina (provavelmente vou fazer um doutorado). Um dos meus subinteresses é redes neurais.

Qual é uma boa base matemática para RNAs? Como em outras áreas do aprendizado de máquina, presumo que a álgebra linear seja importante, mas que outras áreas da matemática são importantes?

Planejo ler Redes Neurais: Uma Introdução Sistemática ou Redes Neurais para Reconhecimento de Padrões . Alguém tem alguma entrada ou recomendações alternativas?

A segunda referência que você fornece é, na minha opinião, ainda o melhor livro sobre NN, mesmo que esteja um pouco desatualizado e não lide com desenvolvimentos mais recentes, como arquiteturas profundas. Você aprenderá o básico e se familiarizará com todos os conceitos básicos do aprendizado de máquina.

Se você ler o livro, precisará de álgebra linear, cálculo multivariado e noções básicas de estatística (probabilidades condicionais, teorema de bayes e familiaridade com as distribuições binomiais). Em alguns pontos, lida com o cálculo de variações. O apêndice sobre cálculo de variações deve ser suficiente.

O componente matemático provavelmente incluirá álgebra avançada, trigonométrica, álgebra linear e cálculo no mínimo.

Mas também pense fora da caixa. Também são necessárias boas habilidades de programação, incluindo bases sólidas em algoritmos (o Coursera tem dois cursos sobre algoritmos) e proficiência em MatLab, Octave ou R (e com uma linguagem de programação flexível como Java, C / C ++ ou Python). Mencionei isso em resposta à sua pergunta porque, na minha opinião, são mais habilidades de "matemática aplicada" - e são fundamentais para traduzir entre teoria e implementações aplicadas.

Participei de vários cursos do Coursera relacionados ao aprendizado de máquina (e concordo com outro autor que o aprendizado de máquina do Prof. Ng é fantástico) e NN. Há alguns meses, o Coursera organizou um Curso de Redes Neurais (não tenho certeza se isso ainda está disponível) através da Universidade de Toronto e Geoffrey Hinton. Um ótimo curso e exigido: conhecimento de cálculo, proficiência em Octave (um clone de código aberto semelhante ao MatLab), bom design algorítmico (para escalabilidade) e álgebra linear.

Você também pode pensar em tópicos como processamento de linguagem natural (para extração de recursos, etc.), recuperação de informações, teoria estatística / probabilidade, além de outras áreas do Machine Learning (para obter mais teoria). Textos recentes, como Fundamentos do aprendizado de máquina (Mohri) ou Introdução ao aprendizado de máquina (Alpaydin), podem ser úteis para fazer a ponte entre a complexidade da teoria e a implementação (apenas na minha opinião, isso pode ser um grande salto) - e ambos os textos são muito pesados ​​em matemática, especialmente as fundações.

Mais uma vez, acho que todos se relacionam com matemática e NN, mas em um sentido mais amplo.

Consulte: http://www.quora.com/Career-Advice/How-do-I-become-a-data-scientist Segunda resposta. Roteiro bastante completo.

Introdução gradual ao Machine Learning: siga este excelente curso Machine Learning 101 de Andrew Ng, da Standford. Eu acho que é incrível?

https://www.coursera.org/course/ml

Um livro muito bom (não realmente introdutório, mas não supõe conhecimento prévio em redes neurais) é Brian Ripley: "Reconhecimento de padrões e redes neurais", que eu diria que contém muitas de suas preliminares. Com um BS em matemática aplicada, você deve estar preparado.

O tópico PRINCIPAL é estatística

cálculo multivariável

álgebra linear numérica (matrizes esparsas etc) otimização numérica (descida gradiente etc, programação quadrática)

convém ler sobre os processos gaussianos e as matemáticas necessárias lá, tentar fazer algumas aulas de processamento de imagem / processamento de linguagem natural