O que é o operador Bellman na aprendizagem por reforço?

Em matemática, a palavra operador pode se referir a vários conceitos distintos, mas relacionados. Um operador pode ser definido como uma função entre dois espaços vetoriais, pode ser definido como uma função em que o domínio e o codomain são iguais ou pode ser definido como uma função de funções (que são vetores) para outras funções (por por exemplo, o operador diferencial ), ou seja, uma função de alta ordem (se você estiver familiarizado com a programação funcional).

O que é o operador Bellman na aprendizagem por reforço (RL)? Por que precisamos disso? Como o operador Bellman está relacionado às equações de Bellman na RL?

reinforcement-learning terminology math

— nbro
fonte

Alguns artigos relacionados a este tópico são Métodos Baseados em Recursos para Programação Dinâmica em Grande Escala (por John N. Tsitsiklis e Benjamin Van Roy, 1996), Uma Análise da Aprendizagem por Diferenças Temporais com Aproximação de Funções (por John N. Tsitsiklis e Benjamin Van Roy, 1997) e Iteração de política de mínimos quadrados (por Michail G. Lagoudakis e Ronald Parr, 2003).

— nbro

Outros artigos relacionados que encontrei são Processos de Decisão Generalizados de Markov: Algoritmos de programação dinâmica e aprendizado de reforço (por Csaba Szepesvári e Michael L. Littman, 1997) e

ϵ

$\epsilon$ -DPM: Aprendizagem em ambientes variados (por István Szita, Bálint Takács, András Lörincz, 2002).

— nbro

A notação que vou usar é de duas palestras diferentes de David Silver e também é informada por esses slides .

A equação de Bellman esperada é

\begin{matrix} (1) & v_{π} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{π} (s^{'})) \end{matrix}

$v_\pi(s) = \sum_{a\in \cal{A}} \pi(a|s) \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_\pi(s')\right) \tag 1$

Se deixarmos

\begin{matrix} (2) & P_{s s^{'}}^{π} = \sum_{a \in A} π (a | s) P_{s s^{'}}^{a} \end{matrix}

$\cal{P}_{ss'}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{P}_{ss'}^a \tag 2$ e

\begin{matrix} (3) & R_{s}^{π} = \sum_{a \in A} π (a | s) R_{s}^{a} \end{matrix}

$\cal{R}_{s}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{R}_{s}^a \tag 3$ então podemos reescrever

(1)

$(1)$ Como

\begin{matrix} (4) & v_{π} (s) = R_{s}^{π} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{π} v_{π} (s^{'}) \end{matrix}

$v_\pi(s) = \cal{R}_s^\pi + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^\pi v_\pi(s') \tag 4$

Isso pode ser escrito em forma de matriz

\begin{matrix} (5) & [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] = [\begin{matrix} R_{1}^{π} \\ ⋮ \\ R_{n}^{π} \end{matrix}] + γ [\begin{matrix} P_{11}^{π} & \dots & P_{1 n}^{π} \\ ⋮ & ⋱ & ⋮ \\ P_{n 1}^{π} & \dots & P_{n n}^{π} \end{matrix}] [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] \end{matrix}

$\left. \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix}= \begin{bmatrix} \cal{R}_1^\pi \\ \vdots \\ \cal{R}_n^\pi \end{bmatrix} +\gamma \begin{bmatrix} \cal{P}_{11}^\pi & \dots & \cal{P}_{1n}^\pi\\ \vdots & \ddots & \vdots\\ \cal{P}_{n1}^\pi & \dots & \cal{P}_{nn}^\pi \end{bmatrix} \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix} \right. \tag 5$

Ou, de forma mais compacta,

\begin{matrix} (6) & v_{π} = R^{π} + γ P^{π} v_{π} \end{matrix}

$v_\pi = \cal{R}^\pi + \gamma \cal{P}^\pi v_\pi \tag 6$

Observe que os dois lados da $(6)$ estamos $n$ tridimensionais. Aqui $n=|\cal{S}|$ é o tamanho do espaço de estado. Podemos então definir um operador $\cal{T}^\pi:\mathbb{R}^n\to\mathbb{R}^n$ Como

\begin{matrix} (7) & T^{π} (v) = R^{π} + γ P^{π} v \end{matrix}

$\cal{T^\pi}(v) = \cal{R}^\pi + \gamma \cal{P}^\pi v \tag 7$

para qualquer $v\in \mathbb{R}^n$ . Este é o operador esperado da Bellman.

Da mesma forma, você pode reescrever a equação de otimização de Bellman

\begin{matrix} (8) & v_{*} (s) = max_{uma \in UMA} (R_{s}^{uma} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{uma} v_{*} (s^{'})) \end{matrix}

$v_*(s) = \max_{a\in\cal{A}} \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_*(s')\right) \tag 8$

como o operador de otimização Bellman

\begin{matrix} (9) & T^{*} (v) = max_{uma \in UMA} (R^{uma} + γ P^{uma} v) \end{matrix}

$\cal{T^*}(v) = \max_{a\in\cal{A}} \left(\cal{R}^a + \gamma \cal{P}^a v\right) \tag 9$

Os operadores Bellman são "operadores", pois são mapeamentos de um ponto para outro no espaço vetorial de valores de estado, $\mathbb{R}^n$ .

Reescrever as equações de Bellman como operadores é útil para provar que certos algoritmos de programação dinâmica (por exemplo, iteração de política, iteração de valor) convergem para um ponto fixo exclusivo. Essa utilidade vem na forma de um corpo de trabalho existente na teoria dos operadores, o que nos permite fazer uso de propriedades especiais dos operadores Bellman.

Especificamente, o fato de os operadores Bellman serem contrações fornece resultados úteis que, para qualquer política $\pi$ e qualquer vetor inicial $v$ ,

\begin{matrix} (10) & lim_{k \to \infty} (T^{π})^{k} v = v_{π} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^\pi)^k v = v_\pi \tag{10}$

\begin{matrix} 11) & lim_{k \to \infty} (T^{*})^{k} v = v_{*} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^*)^k v = v_* \tag{11}$

Onde $v_\pi$ é o valor da política $\pi$ e $v_*$ é o valor de uma política ideal $\pi^*$ . A prova é devida ao teorema do mapeamento de contração .

— Philip Raeisghasem
fonte