Acredito que você apreciaria a Teoria da Classificação: Uma Pesquisa de Avanços Recentespor Boucheron, Bousquet e Lugosi. Em particular, começa construindo a teoria básica da generalização via complexidades de Rademacher, introduz algumas ferramentas úteis (como o princípio da contração, cuja prova você pode rastrear nas notas de Shai & Shai mencionadas na resposta de Ashwinkumar, mas (acredito?) livro de probabilidades de Ledoux & Talagrand, que não é gratuito) e os aplica a métodos de classificação padrão (as máquinas de vetores de reforço e suporte são discutidas, devido à sua popularidade e por serem treinadas via ERM). Este texto data de 2005, então também possui alguns dos outros tópicos um pouco recentes que você mencionou, por exemplo, Complexidades Locais do Rademacher, e há até um pequeno plug-in no encadeamento. Por fim, enquanto o manuscrito é bastante curto,
Alguns dos outros tópicos que você menciona têm idade suficiente para estar em "Uma teoria probabilística do reconhecimento de padrões", de Devroye, Györfi e Lugosi (em particular, ela tem muito mais a oferecer do que qualquer outro texto que conheço). Embora falte alguns dos tópicos mais recentes mencionados, este é um livro padrão que todos que conheci na teoria da aprendizagem carregaram em suas prateleiras. Talvez tente localizar um índice e um índice para o livro, e folheá-lo.
Alguns dos outros tópicos mencionados não foram tratados detalhadamente em um livro, mas apareceram em várias notas do curso. Por exemplo, se você for para a página de Sham Kakade na UPenn , encontrará links para dois cursos de teoria da aprendizagem (um foi no TTI-C, com Ambuj Tewari) e verá que os links de tópicos correspondem a algumas das coisas que você discutiu , e não apareceram nas minhas respostas ou em outro lugar. Existem muitos bons cursos em várias escolas; Avrim Blum tem notas excelentes e extremamente legíveis para seu curso de teoria da aprendizagem (sua análise do winnow é a mais curta, mais limpa e mais intuitiva que eu já vi!).
Algumas delas são talvez um pouco novas demais, e você precisará acessar o material de origem. Mas se você realmente está apenas tentando aprender um monte de técnicas, acho que a pesquisa no topo e as palestras para algumas aulas de teoria da aprendizagem o ajudarão muito.
Além disso, parece que você está procurando textos avançados, mas também gostaria de inserir dois textos introdutórios de que as pessoas gostam muito. Uma é "uma introdução à teoria da aprendizagem computacional", de Kearns e (U.) Vazirani, que enquanto antiga (por exemplo, o impulso é apresentado apenas através da construção original de Robert Schapire, e a ênfase está no PAC e não no aprendizado agnóstico), é apresentou bem e tem boa intuição. Pessoalmente, eu adquiri minhas noções básicas de Introdução à teoria estatística da aprendizagem , pelos mesmos autores da pesquisa acima (mas aparecendo na ordem Bousquet, Boucheron, Lugosi?); tem uma boa exposição e foi a primeira vez que a teoria da generalização realmente começou a clicar para mim.