Referências sobre otimização numérica para estatísticos

Estou procurando uma referência sólida (ou referências) sobre técnicas de otimização numérica destinadas a estatísticos, ou seja, aplicaria esses métodos a alguns problemas inferenciais padrão (por exemplo, MAP / MLE em modelos comuns). Coisas como descida de gradiente (reta e estocástica), EM e seus spinoffs / generalizações, recozimento simulado, etc.

Espero que ele tenha algumas notas práticas sobre a implementação (muitas vezes ausentes em documentos). Não precisa ser completamente explícito, mas pelo menos deve fornecer uma bibliografia sólida.

Algumas pesquisas superficiais revelaram alguns textos: Análise Numérica para Estatísticos, de Ken Lange, e Métodos Numéricos de Estatística, de John Monahan. Revisões de cada um parecem misturadas (e esparsas). Dos dois, uma leitura do sumário sugere que a 2ª edição do livro de Lange é a mais próxima do que estou procurando.

Estatísticas Computacionais de James Gentle (2009).

Álgebra matricial de James Gentle: teoria, cálculos e aplicações em estatística (2007) , mais ainda no final do livro, o início também é ótimo, mas não é exatamente o que você está procurando.

Reconhecimento de Padrões de Christopher M. Bishop (2006).

Os elementos do aprendizado estatístico de Hastie et al.: Mineração de dados, inferência e previsão (2009).

Você está procurando algo tão de baixo nível quanto um texto que responda a uma pergunta como: "Por que é mais eficiente armazenar matrizes e matrizes de dimensões mais altas como uma matriz 1-D e como posso indexá-las no M usual?" (0, 1, 3, ...) maneira? " ou algo como "Quais são algumas técnicas comuns usadas para otimizar algoritmos padrão, como descida de gradiente, EM, etc.?"?

A maioria dos textos sobre aprendizado de máquina fornecerá discussões aprofundadas dos tópicos que você está procurando.

Livro Nocedal e Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

é uma boa referência para otimização em geral, e muitas coisas em seu livro são de interesse de um estatístico. Há também um capítulo inteiro sobre mínimos quadrados não lineares.

Optimization , de Kenneth Lange (Springer, 2004), revisado no JASA por Russell Steele. É um bom livro com a álgebra de Gentle's Matrix para um curso introdutório sobre cálculo e otimização de matrizes, como o de Jan de Leeuw (cursos / 202B).

Como complemento a estes, você pode encontrar Magnus, JR e H. Neudecker (2007). Cálculo matricial com aplicações em estatística e econometria, 3º ed útil, embora pesado. Ele desenvolve um tratamento completo das operações infinitesimais com matrizes e as aplica em várias tarefas estatísticas típicas, como otimização, MLE e mínimos quadrados não lineares. Se, no final das contas, você descobrir a estabilidade de seus algoritmos matriciais, será indispensável uma boa compreensão do cálculo matricial. Pessoalmente, usei as ferramentas de cálculo matricial na obtenção de resultados assintóticos em estatística espacial e em modelos paramétricos multivariados.