Para programação dinâmica estocástica em tempo contínuo, a pequena e não técnica Art of Smooth Pasting da Dixit é uma opção maravilhosa. Ele faz um trabalho muito eficaz de transmitir a intuição básica.
O mais recente de Stokey, The Economics of Inaction, também é decente, mas, para uma pessoa prática, provavelmente tem um desempenho inferior ao Dixit - seu comprimento muito maior e a notação um pouco mais pesada não produzem recompensas proporcionais.
Se os processos estocásticos subjacentes não são difusões de Itō, não tenho certeza de qual é a melhor referência. O caso mais comum que eu já vi (e que me uso) é o caso de muitos estados exógenos, em que, se atualmente estamos no estado existe uma taxa de risco constantes de uma mudança para o estado s ′ . Felizmente, este é um caso bastante simples na prática: pode-se modificar a equação HJB para explicar a probabilidade de fluxo de mudança de V ( ⋅ , s ) para V ( ⋅ , s ′ )λs,s′s′V(⋅,s)V(⋅,s′). (Você pode ver isso, por exemplo, nas equações (1) a (5) neste artigo sobre Acemoglu e Akcigit . Conceitualmente, não é diferente de configurar a equação HJB quando temos uma difusão de Itō como processo de condução, exceto que é mais simples porque acabamos de obter um sistema de equações lineares e não precisamos pensar no lema de Itō, etc.)
Certamente, talvez exista também uma boa referência a esse livro - mas, diferentemente dos casos potencialmente muito mais complicados que envolvem cálculo estocástico, isso é direto o suficiente para que um texto nunca me pareça necessário.