Por que a linha de base está condicionada ao estado em alguma etapa do tempo?

Na robótica, a técnica de aprendizado por reforço é usada para encontrar o padrão de controle de um robô. Infelizmente, a maioria dos métodos de gradiente de políticas é estatisticamente tendenciosa, o que poderia levar o robô a uma situação insegura, consulte a página 2 de Jan Peters e Stefan Schaal: Aprendizado por reforço de habilidades motoras com gradientes de políticas, 2008

Com o aprendizado primitivo motor, é possível superar o problema porque a otimização dos parâmetros do gradiente de política direciona as etapas de aprendizado para o objetivo.

citação: “Se a estimativa do gradiente for imparcial e as taxas de aprendizado cumprirem a soma (a) = 0, é garantido que o processo de aprendizado converja para pelo menos um mínimo local [...] Portanto, precisamos estimar o gradiente da política somente a partir dos dados gerados. durante a execução de uma tarefa. ”(Página 4 do mesmo artigo)

Nos trabalhos de casa para o Problema 1 da classe RL de Berkeley , solicita que você mostre que o gradiente de política ainda é imparcial se a linha de base subtraída for uma função do estado no timestep t.

Estou lutando com o que pode ser o primeiro passo dessa prova. Alguém pode me apontar na direção certa? Meu pensamento inicial foi de alguma forma usar a lei da expectativa total para condicionar a expectativa de b (st) a T, mas não tenho certeza. Desde já, obrigado :)

_{link para png original da equação}

Usando a lei das expectativas iteradas, temos:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

escrito com integrais e movendo o gradiente para dentro (linearidade), você obtém

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

agora você pode mover $\nabla_\theta$ (devido à linearidade) $b(s_t)$ (não depende de $a_t$ ) da integral interna à externa:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$$a_t$$s_t$$1$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

$\nabla_\theta1 = 0$

Parece que o dever de casa era devido dois dias antes da redação desta resposta, mas, caso ainda seja relevante, as anotações relevantes da classe (que teriam sido úteis se fornecidas na pergunta junto com o dever de casa) estão aqui .

$\mathbb{E}_{\tau \sim p \theta(\tau)}$

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

$\pi_\theta(a_t|s_t)$

Este exercício é uma preparação para a próxima etapa da lição de casa e baseia-se apenas na revisão do curso de Introdução ao aprendizado de máquina de CS189, de Burkeley, que não contém a Lei da Expectativa Total em seu currículo ou notas de aula.

Todas as informações relevantes estão no link acima para notas de aula e requerem apenas álgebra intermediária.