Introdução ao aprendizado de máquina para matemáticos

Em certo sentido, essa é uma referência cruzada de math.stackexchange , e tenho a sensação de que este site pode fornecer um amplo público.

Estou procurando uma introdução matemática ao aprendizado de máquina. Particularmente, muita literatura que pode ser encontrada é relativamente imprecisa e muitas páginas são gastas sem nenhum conteúdo.

No entanto, a partir dessa literatura, descobri os cursos do Coursera de Andrew Ng, o livro do Bispo sobre reconhecimento de padrões e, finalmente, um livro de Smola. Infelizmente, o livro de Smola está apenas no estado preliminar. No livro de Smola, até as provas podem ser encontradas, o que me agrada. O livro de Bishop já é muito bom, mas falta um certo rigor.

Resumindo: estou procurando um livro como o de Smola, ou seja, o mais preciso e rigoroso possível, e utiliza conhecimentos matemáticos (embora breves introduções sejam obviamente aceitáveis).

Alguma recomendação?

Para o que você descreve, eu recomendo "Foundations of Machine Learning", de Mohri et.al. É um texto de graduação, mas é realmente bom para estudantes de graduação. É legível e é o único lugar em que encontrei o que eu chamaria de definição matemática de aprendizado de máquina (pac e pac fraco). Vale a pena ler apenas por esse motivo. Eu também tenho um doutorado em matemática. Eu estou familiarizado e gosto de muitos dos livros mencionados acima. Gosto particularmente de ESL por um amplo espectro de técnicas e idéias, mas é um livro de estatística com muita matemática.

Eu recomendaria Elements of Statistical Learning (arquivo PDF grátis). Possui matemática suficiente e uma boa introdução a todas as técnicas relevantes - juntamente com algumas idéias sobre por que as técnicas funcionam (e quando não funcionam).

Também Introdução à Aprendizagem Estatística (que é mais prático - como fazê-lo em R ). Possui um curso ministrando aprendizado estatístico ; você pode encontrar as palestras no YouTube (e novamente em PDF grátis).

Você provavelmente gostará de Learning With Kernels de Schölkopf e Smola. A maior parte do trabalho de Schölkopf é matematicamente rigorosa.

Dito isto, você provavelmente está melhor lendo artigos de pesquisa em vez de livros didáticos. Os trabalhos de pesquisa contêm derivações completas e provas de convergência, limites de desempenho etc., que muitas vezes não são incluídos nos livros didáticos. Um bom lugar para começar é o Journal of Machine Learning , que é altamente considerado e tem acesso totalmente aberto. Também recomendo os trabalhos de conferências como ICML , NIPS , COLT e IJCNN .

Eu sugeriria Entendendo o aprendizado de máquina: da teoria aos algoritmos de Shai Shalev-Shwartz. Admito que li apenas pequenas porções, mas imediatamente notei rigor com o qual o autor abordava todos os problemas e discussões.