Estado estacionário da conjectura a partir das propriedades de limite

A questão está relacionada a este tópico . Gostaria de obter um estado estável único para um problema de controle ideal.

Considere o seguinte programa onde indica preferência de tempo, é o valor e uma função objetiva. é a variável de estado e o controle. O estado é governado por . A equação de Hamilton-Jacobi-Bellman lê

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

x \in X

$x\in X$

u \in U = [0, 1]

$u\in U=[0,1]$

f (\cdot)

$f(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty) \end{align}$

Agora suponha que o controle de feedback seja dado por

\begin{aligned} u (x) = \frac{1}{1 + V^{'} (x)} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall x \in X . \end{aligned}

$\begin{align} u(x) = \frac{1}{1+V'(x)} = \arg\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall x\in X. \end{align}$

Suponha que exista um ponto fixo em e possamos derivar uma representação alternativa para o controle ideal no ponto fixo com $x = \tilde x$

\begin{aligned} u (\tilde{x}) = \frac{ρ + u^{'} (\tilde{x})}{ρ + u^{'} (\tilde{x}) + 1} . \end{aligned}

$\begin{align} u(\tilde x) = \frac{\rho + u'(\tilde x)}{\rho + u'(\tilde x) + 1}. \end{align}$

Suponha que adicionalmente o HJB no ponto fixo seja dado por

\begin{aligned} ρ V (x) = \ln (\frac{1}{1 + V^{'} (x)}) + 1 - \frac{1}{1 + V^{'} (x)} . \end{aligned}

$\begin{align} \rho V(x)=\ln\left(\frac{1}{1+V'(x)}\right) + 1 - \frac{1}{1+V'(x)}. \end{align}$

Se aproxima de zero, devemos ter . Por outro lado, se aproxima do infinito, devemos ter pela definição da função de valor e, assim, novamente . Resumindo, temos as seguintes propriedades em equilíbrio: $\rho\to 0$ $V'(\tilde x) = 0 \Rightarrow u(\tilde x) = 1 \Rightarrow u'(\tilde x) = \infty$ $\rho\to\infty$ $V(\tilde x) = 0$ $V'(\tilde x) = 0 \Rightarrow u(\tilde x) = 1$

\begin{aligned} lim_{ρ \to 0} u (\tilde{x}) = lim_{ρ \to \infty} u (\tilde{x}) = 1. \end{aligned}

$\begin{align} \lim_{\rho\to 0} u(\tilde x)=\lim_{\rho\to\infty} u(\tilde x) = 1. \end{align}$

Bem, isso está em desacordo com

\begin{aligned} \frac{\partial u (\tilde{x})}{\partial ρ} = \frac{1}{(ρ + u^{'} (\tilde{x}) + 1)^{2}} > 0 \end{aligned}

$\begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1}{(\rho + u'(\tilde x) + 1)^2} > 0 \end{align}$

sendo uma função crescente estritamente monóton, contradizendo nosso resultado anterior. Observe, no entanto, que podemos resolver o problema observando

\begin{aligned} lim_{u^{'} (\tilde{x}) \to \infty} \frac{\partial u (\tilde{x})}{\partial ρ} = 0 \end{aligned}

$\begin{align} \lim_{u'(\tilde x)\to\infty}\frac{\partial u(\tilde x)}{\partial \rho}= 0 \end{align}$

Então, podemos finalmente conjeturar que devemos ter no ponto fixo tal modo que $u'(\tilde x) = \infty \Rightarrow u(\tilde x) = 1$

\begin{aligned} ρ V (\tilde{x}) = \ln (1) + 1 - 1 \Leftrightarrow V (\tilde{x}) = 0. \end{aligned}

$\begin{align} \rho V(\tilde x)=\ln(1) + 1 - 1 \Leftrightarrow V(\tilde x) = 0. \end{align}$

mathematical-economics dynamic-programming steady-state

— sem noção
fonte

Não sei ao certo como você chega à expressão

\frac{\partial u (\tilde{x})}{\partial ρ}

$\frac{\partial u(\tilde x)}{\partial \rho}$

— Alecos Papadopoulos

Você está certo. Eu acho que deveria ler: onde o sinal é indeterminado e, portanto, minha argumentação é falha.

\partial u (\tilde{x}) / \partial ρ = (1 + \partial u^{'} (\tilde{x}) / \partial ρ) / (ρ + u^{'} (\tilde{x}) + 1)^{2}

$\partial u(\tilde x)/\partial \rho = (1+\partial u'(\tilde x)/\partial \rho)/(\rho + u'(\tilde x) + 1)^2$

— sem noção

Como vamos proceder? Devo postar isso como uma resposta de "resultado negativo" para que a postagem não permaneça na fila sem resposta ou você modificará de alguma forma a pergunta?

— Alecos Papadopoulos

Provavelmente resultado negativo, porque não tenho idéia de como resolver o problema em questão. Acho que encontrei uma maneira diferente de mostrar que é um equilíbrio estável associado ao valor mais alto, uma vez que, pelo princípio de desvio único, não há incentivo para se desviar dessa estratégia específica. No entanto, meu cenário organizacional lida com dois agentes, sendo diferente daquele apresentado aqui.

u (\tilde{x}) = 1

$u(\tilde x) = 1$

— sem noção

Atualizando uma troca de comentários, um ponto crítico na pergunta é a expressão

\begin{aligned} \frac{\partial u (\tilde{x})}{\partial ρ} = \frac{1}{(ρ + u^{'} (\tilde{x}) + 1)^{2}} \end{aligned}

$\begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1}{(\rho + u'(\tilde x) + 1)^2} \end{align}$

o que está errado, porque de

\begin{aligned} u (\tilde{x}) = \frac{ρ + u^{'} (\tilde{x})}{ρ + u^{'} (\tilde{x}) + 1} . \end{aligned}

$\begin{align} u(\tilde x) = \frac{\rho + u'(\tilde x)}{\rho + u'(\tilde x) + 1}. \end{align}$

nós obtemos

\begin{aligned} \frac{\partial u (\tilde{x})}{\partial ρ} = \frac{1 + \partial u^{'} (\tilde{x}) / \partial ρ}{(ρ + u^{'} (\tilde{x}) + 1)^{2}} \end{aligned}

$\begin{align} \frac{\partial u(\tilde x)}{\partial \rho}=\frac{1+\partial u'(\tilde x)/\partial \rho}{(\rho + u'(\tilde x) + 1)^2} \end{align}$

O OP observa que o sinal de é indeterinado e, portanto, não pode ser considerado monotonicamente crescente, e foi isso que dirigiu a fixação do estado estacionário. $\partial u'(\tilde x)/\partial \rho$ $\partial u(\tilde x)/\partial \rho$

— Alecos Papadopoulos
fonte