Tente se aprofundar em um tópico específico. O curso Ngs apenas arranha a superfície, mas outros cursos mais específicos são mais teóricos / matemáticos.
Redes bayesianas / redes Markov:
Modelos gráficos de probabilidade é um curso teórico avançado de coursera em redes bayesianas / redes Markov. O livro é ainda mais teórico. Está cheio de provas.
Redes neurais:
Redes neurais para aprendizado de máquina também são um curso bastante teórico, pois são realmente profundas. No entanto, não é tão matemático quanto o curso PGM que mencionei acima.
No entanto, se você deseja entender a teoria do Machine Learning em si e não os algoritmos, pode optar por um livro didático. Nesse caso, escolha o que o @digio propôs.