Derivando a equação de Bellman na aprendizagem por reforço

Vejo a seguinte equação em " In Reforcement Learning. An Introduction ", mas não siga a etapa que destaquei em azul abaixo. Como exatamente essa etapa é derivada?

Esta é a resposta para todos que se perguntam sobre a matemática estruturada e limpa por trás dela (ou seja, se você pertence ao grupo de pessoas que sabe o que é uma variável aleatória e que deve mostrar ou presumir que uma variável aleatória tem densidade, então isso é a resposta para você ;-)):

Antes de tudo, precisamos ter em conta que o processo de decisão de Markov possui apenas um número finito de$L^1$ barreiras , ou seja, precisamos que exista um conjunto finito de densidades, cada uma pertencendo a variáveis , ou seja, para todos e um mapa modo que (ou seja, nos autômatos por trás do MDP, pode haver infinitos estados, mas existem apenas finitamente muitas distribuições de recompensas associadas às transições possivelmente infinitas entre os estados)$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Teorema 1 : Seja (isto é, uma variável aleatória real integrável) e deixe ser outra variável aleatória tal que tenha uma densidade comum então $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Prova : Essencialmente comprovada aqui por Stefan Hansen.

Teorema 2 : Seja e sejam variáveis ​​aleatórias adicionais, tais que tenham uma densidade comum, então onde é a gama de .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Prova :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Coloque e coloque então pode-se mostrar (usando o fato de que o MDP possui apenas finitas gavetas ) que G_t converge e que, desde a funçãoainda está em (isto é, integrável), também se pode mostrar (usando a combinação usual dos teoremas da convergência monótona e depois dominar a convergência nas equações definidoras [das fatorações] da expectativa condicional) que Agora, mostra-se que $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ usando , Thm. 2 acima de Thm. 1 em e, em seguida, usando uma guerra de marginalização direta, mostra-se que para todos os . Agora precisamos aplicar o limite a ambos os lados da equação. Para puxar o limite para a integral sobre o espaço de estado , precisamos fazer algumas suposições adicionais:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

O espaço de estados é finito (então e a soma é finita) ou todas as recompensas são todas positivas (então usamos convergência monótona) ou todas as recompensas são negativas (então colocamos um sinal de menos na frente do equação e usar convergência monótona novamente) ou todas as recompensas são limitadas (então usamos convergência dominada). Então (aplicando nos dois lados da equação de Bellman parcial / finita acima) obtemos$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

e então o resto é a manipulação usual da densidade.

OBSERVAÇÃO: Mesmo em tarefas muito simples, o espaço de estados pode ser infinito! Um exemplo seria a tarefa de "equilibrar um poste". O estado é essencialmente o ângulo do polo (um valor em , um conjunto incontável de infinitos!)$[0, 2\pi)$

OBSERVAÇÃO: As pessoas podem comentar 'massa, essa prova pode ser reduzida muito mais se você apenas usar a densidade de diretamente e mostrar que '... MAS ... minhas perguntas seriam:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Como é que você sabe que tem uma densidade?$G_{t+1}$
2. Como é que você sabe que tem uma densidade comum junto com ?$G_{t+1}$$S_{t+1}, S_t$
3. Como você deduz que ? Esta não é apenas a propriedade Markov: a propriedade Markov apenas diz algo sobre as distribuições marginais, mas elas não determinam necessariamente toda a distribuição, veja, por exemplo, gaussianos multivariados!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Seja a soma total das recompensas descontadas após o tempo : $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

O valor da utilidade de iniciar no estado, no momento, é equivalente à soma esperada das recompensas com desconto da política de execução partir do estado diante. Por definição de Pela lei da linearidade Por lei de$s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Expectativa total Por definição de Por lei da linearidade
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Supondo que o processo satisfaça a Propriedade Markov:
Probabilidade de terminar no estado iniciando no estado e executou a ação , e a recompensa de terminar no estado iniciando no estado e adotando a ação , $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Portanto, podemos reescrever a equação da utilidade acima como,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Onde; : Probabilidade de agir quando em estado para uma política estocástica. Para política determinística,$\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Aqui está a minha prova. É baseado na manipulação de distribuições condicionais, o que facilita o acompanhamento. Espero que este ajude você.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Esta é a famosa equação de Bellman.

O que há com a seguinte abordagem?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

As somas são introduzidas para recuperar , s ' e r de s . Afinal, as ações possíveis e os próximos estados possíveis podem ser. Com essas condições extras, a linearidade da expectativa leva ao resultado quase diretamente.$a$$s'$$r$$s$

Não sei ao certo quão rigoroso é meu argumento matematicamente. Estou aberto a melhorias.

Este é apenas um comentário / adição à resposta aceita.

Fiquei confuso na linha em que a lei da expectativa total está sendo aplicada. Não acho que a principal forma de lei da expectativa total possa ajudar aqui. Uma variante disso é de fato necessária aqui.

Se $X,Y,Z$ são variáveis ​​aleatórias e assumindo que toda a expectativa existe, a seguinte identidade é válida:

$E[X|Y] = E[E[X|Y,Z]|Y]$

Neste caso, $X= G_{t+1}$ , $Y = S_t$ e $Z = S_{t+1}$ . Então

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , que pela propriedade Markov corresponde a$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

A partir daí, pode-se seguir o restante da prova da resposta.

geralmente denota a expectativa assumindo que o agente segue a políticaπ. Nesse caso,π(a | s)parece não determinístico, ou seja, retorna a probabilidade de o agente executarumaaçãoaquando no estados.$\mathbb{E}_\pi(\cdot)$$\pi$$\pi(a|s)$$a$$s$

Parece que , inferior a caso, é a substituição de R t + 1 , uma variável aleatória. A segunda expectativa substitui a soma infinita, para refletir a suposição de que continuamos a seguir π para todo t futuro . ∑ s ′ , r r ⋅ p ( s ′ , r | s , a ) é então a recompensa imediata esperada no próximo passo no tempo; A segunda expectativa - que se torna v π - é o valor esperado do próximo estado, ponderado pela probabilidade de liquidação no estado $r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$ Tendo tirado a de s .$s'$$a$$s$

Assim, a expectativa é responsável pela probabilidade política, bem como pelas funções de transição e recompensa, aqui expressas em conjunto como .$p(s', r|s,a)$

mesmo que a resposta correta já tenha sido dada e já tenha passado algum tempo, pensei que o seguinte guia passo a passo poderia ser útil:
Pela linearidade do Valor Esperado, podemos dividir $E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$ em $E[R_{t+1}|S_t=s]$ e $\gamma E[G_{t+1}|S_{t}=s]$ .
Vou descrever os passos apenas para a primeira parte, pois a segunda parte segue os mesmos passos combinados com a Lei da Expectativa Total.

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Whereas (III) follows form:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

I know there is already an accepted answer, but I wish to provide a probably more concrete derivation. I would also like to mention that although @Jie Shi trick somewhat makes sense, but it makes me feel very uncomfortable:(. We need to consider the time dimension to make this work. And it is important to note that, the expectation is actually taken over the entire infinite horizon, rather than just over $s$ and $s'$. Let assume we start from $t=0$ (in fact, the derivation is the same regardless of the starting time; I do not want to contaminate the equations with another subscript $k$)

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ NOTED THAT THE ABOVE EQUATION HOLDS EVEN IF $T\rightarrow\infty$, IN FACT IT WILL BE TRUE UNTIL THE END OF UNIVERSE (maybe be a bit exaggerated :) )
At this stage, I believe most of us should already have in mind how the above leads to the final expression--we just need to apply sum-product rule($\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$) painstakingly. Let us apply the law of linearity of Expectation to each term inside the $\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Part 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Well this is rather trivial, all probabilities disappear (actually sum to 1) except those related to $r_1$. Therefore, we have

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Part 2
Guess what, this part is even more trivial--it only involves rearranging the sequence of summations.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

And Eureka!! we recover a recursive pattern in side the big parentheses. Let us combine it with $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$, and we obtain $v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
and part 2 becomes $$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Part 1 + Part 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

And now if we can tuck in the time dimension and recover the general recursive formulae

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Final confession, I laughed when I saw people above mention the use of law of total expectation. So here I am

There are already a great many answers to this question, but most involve few words describing what is going on in the manipulations. I'm going to answer it using way more words, I think. To start,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

is defined in equation 3.11 of Sutton and Barto, with a constant discount factor $0 \leq \gamma \leq 1$ and we can have $T = \infty$ or $\gamma = 1$, but not both. Since the rewards, $R_{k}$, are random variables, so is $G_{t}$ as it is merely a linear combination of random variables.

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

That last line follows from the linearity of expectation values. $R_{t+1}$ is the reward the agent gains after taking action at time step $t$. For simplicity, I assume that it can take on a finite number of values $r \in \mathcal{R}$.

Work on the first term. In words, I need to compute the expectation values of $R_{t+1}$ given that we know that the current state is $s$. The formula for this is

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

In other words the probability of the appearance of reward $r$ is conditioned on the state $s$; different states may have different rewards. This $p(r|s)$ distribution is a marginal distribution of a distribution that also contained the variables $a$ and $s'$, the action taken at time $t$ and the state at time $t+1$ after the action, respectively:

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Where I have used $\pi(a|s) \doteq p(a|s)$, following the book's convention. If that last equality is confusing, forget the sums, suppress the $s$ (the probability now looks like a joint probability), use the law of multiplication and finally reintroduce the condition on $s$ in all the new terms. It in now easy to see that the first term is

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

as required. On to the second term, where I assume that $G_{t+1}$ is a random variable that takes on a finite number of values $g \in \Gamma$. Just like the first term:

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Once again, I "un-marginalize" the probability distribution by writing (law of multiplication again)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

The last line in there follows from the Markovian property. Remember that $G_{t+1}$ is the sum of all the future (discounted) rewards that the agent receives after state $s'$. The Markovian property is that the process is memory-less with regards to previous states, actions and rewards. Future actions (and the rewards they reap) depend only on the state in which the action is taken, so $p(g | s', r, a, s) = p(g | s')$, by assumption. Ok, so the second term in the proof is now

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

as required, once again. Combining the two terms completes the proof

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

UPDATE

I want to address what might look like a sleight of hand in the derivation of the second term. In the equation marked with $(*)$, I use a term $p(g|s)$ and then later in the equation marked $(**)$ I claim that $g$ doesn't depend on $s$, by arguing the Markovian property. So, you might say that if this is the case, then $p(g|s) = p(g)$. But this is not true. I can take $p(g | s', r, a, s) \rightarrow p(g | s')$ because the probability on the left side of that statement says that this is the probability of $g$ conditioned on $s'$, $a$, $r$, and $s$. Because we either know or assume the state $s'$, none of the other conditionals matter, because of the Markovian property. If you do not know or assume the state $s'$, then the future rewards (the meaning of $g$) will depend on which state you begin at, because that will determine (based on the policy) which state $s'$ you start at when computing $g$.

If that argument doesn't convince you, try to compute what $p(g)$ is:

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

As can be seen in the last line, it is not true that $p(g|s) = p(g)$. The expected value of $g$ depends on which state you start in (i.e. the identity of $s$), if you do not know or assume the state $s'$.