Resolvendo a equação de Hamilton-Jacobi-Bellman; necessário e suficiente para otimizar?

Considere a seguinte equação diferencial

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$ que

x

$x$ é o estado e

u

$u$ a variável de controle. A solução é dado por

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$ onde

x_{0} := x (0)

$x_0:=x(0)$ é o estado inicial dado.

Agora considere o seguinte programa

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

Digamos que eu tenha resolvido o HJB para $V$ . O controle ideal é então dado por

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ obterei trajetórias ideais para o estado e o controle

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ .

O artigo da wiki diz

... mas quando resolvida em todo o espaço de estados, a equação HJB é uma condição necessária e suficiente para um ótimo.

Em Bertsekas (2005) Dynamic Programming and Optimal Control , Vol. 1, 3ª ed., Na Proposição 3.2.1, ele afirma que resolver para $V$ é a função de custo-a-go ideal e o associado $u^*$ é ideal. No entanto, ele o declara explicitamente como um teorema da suficiência.

Na verdade, só quero ter certeza de que, se eu resolvi o HJB e recuperei o estado associado e as trajetórias de controle, não preciso me preocupar com condições adicionais de otimização.

Solução

Eu tento

Eu acho que fui capaz de derivar as condições necessárias do princípio máximo pela própria equação de HJB.

Defina o hamiltoniano

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

então temos

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

que é

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

Defina uma função arbitrária $q:[0,\infty)\to\mathbb{R}$ com $q(0)=\lim_{t\to\infty} q(t)=0$ . Agora corrija

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

onde é um parâmetro. Ligue o termo ao hamiltoniano maximizado que fornece $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

Em , temos a solução ideal. Assim, diferencie-se de para obter uma condição de primeira ordem $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

Agora defina a variável adjunta com

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

Diferencie ao longo do tempo

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

e observe que

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

Conecte tudo no foco que fornece

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

É isso mesmo. Portanto, resolver o HJB é realmente necessário e suficiente (omitido aqui) para otimizar. Alguém deve adicioná-lo ao wiki. Pode economizar tempo para as pessoas que pensam em tais problemas (não será muito que eu reconheço).

No entanto, a condição de transversalidade está ausente.

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II tentativa

Defina a recompensa funcional

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

Observe que pela definição de . Adicione o Termo neutro ao resultado do pagamento

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

A integração por partes do termo correto e os rhs produzem

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

Substitua esse termo

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

Defina

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

que fornece

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

FOC para máximo $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

Como e são irrestritos, devemos ter $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— sem noção
fonte

você já identificou as condições necessárias e suficientes?

— Jamzy

Em que contexto econômico isso surge?

— Stan Shunpike

Modelo de Ramsey, por exemplo, cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— sem noção

Eu acho que esse tópico é mais adequado para math.stackexchange.com, pois não está realmente vinculado ao econ. Um mod pode transferi-lo.

— nora

Não tenho certeza do que é perguntado aqui: se por Bertsek resolver o HJB for suficiente , você não precisará "se preocupar com condições adicionais de otimização". O "apenas suficiente" contra "necessário e suficiente" surgiria caso o HJB não fosse resolvido - nesse caso, alguém diria "isso não significa que não há solução". A propósito, suas Tentativas I e II são um conteúdo valioso aqui - a primeira mostrando um link entre o HJB e o Optimal Control, a segunda mostrando como os FOCs do Optimal Control podem ser derivados.

— Alecos Papadopoulos

(Talvez isso deva ser considerado um comentário.)

Se você resolveu a equação HJB, é suficiente obter a solução ideal. Portanto, você "não precisa se preocupar com outras condições de otimização", as quais, acredito, parecem responder à sua pergunta.

Parece que você está preocupado com o componente "necessário" do teorema. O lado da necessidade da declaração é o seguinte: se houver uma solução ótima, deve existir uma solução para a equação HJB.

Não trabalhei com esse problema em particular, mas a resposta em geral é que não esperamos ter uma função diferenciável V. Portanto, não temos uma solução para a equação, como é afirmado. Em vez disso, precisamos olhar para derivadas generalizadas e converter a equação HJB em uma desigualdade. Nesse caso, você pode obter uma "solução de viscosidade". Se estendermos o uso de derivadas generalizadas, pode ser possível provar que sempre existe uma solução desse tipo. Olhando para as suas provas, elas não ajudarão nas condições de necessidade, pois você está assumindo diferenciabilidade.

— Brian Romanchuk
fonte