【RL第五篇】信赖域策略优化-Trust Region Policy Optimization（TRPO）

一、前言

TRPO（Trust Region Policy Optimization）

二、策略梯度学习步长

回顾一下策略梯度的目标公式：
$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[R(\tau )\right]$$

如果把轨迹展开可以表示为：

$$J(\pi )={\mathbb{E}}_{s_0,a_0,\dots }\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)\right]$$

其中$s_0\sim p(s_0),a_t\sim \pi (a_t|s_t),s_{t+1}\sim p(s_{t+1}|s_t,a_t),\pi 为策略$

将参数 $\theta$ 按如下方式更新：
$$\theta \leftarrow \theta +\alpha \cdot \hat{g}$$

其中 $\alpha$为学习步长。

基本原理是利用梯度上升法朝着最大预期收益的方向优化。

然而，不合理的学习步长，会导致梯度上升法中的错误步骤可能导致次优操作，进而导致糟糕的状态。这反过来又会导致策略更新不佳和样本数据收集不佳。如此循环往复，最终可能导致策略性能崩溃，训练过程彻底失败。

三、前期理论

3.1 引入新旧策略关系

$J(\pi )$也等于state初始化状态下预期的价值，故存在等式：
$$J(\pi )={\mathbb{E}}_{s_0,a_0,\dots }\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)\right]=\mathbb{E}\left[V_{\pi }(s_0)\right]$$

又上一篇GAE可知：
${\hat{A}}^{\pi }(s_t,a_t)=\left[r(s_t,a_t)+\gamma V^{\pi }(s_{t+1})\right]-V^{\pi }(s_t)$

所以可以得到：
$$\begin{array}{rl}{\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)\right]& ={\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t\left(Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)\right)\right]\\ & ={\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t\left(r(s_t)+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t)\right)\right]\\ & ={\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[-V_{\pi }(s_0)+\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)\right]\end{array}$$
根据新旧策略的初始状态是一致的（因为新状态是由旧状态一步步更新的，初始是一样的），则

$${\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[-V_{\pi }(s_0)\right]=-{\mathbb{E}}_{s_0}\left[V_{\pi }(s_0)\right]$$

所以可以得到：
$$\begin{array}{rl}{\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)\right]& =-{\mathbb{E}}_{s_0}\left[V_{\pi }(s_0)\right]+{\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)\right]\\ & =-J(\pi )+J(\tilde{\pi })\end{array}$$

最终得到新旧策略的关系等式：

$$J(\tilde{\pi })=J(\pi )+{\mathbb{E}}_{s_0,a_0,\dots \sim \tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]\text{\hspace{1em}(3.1)}$$

其中$A_{\pi }(s_t,a_t)$为优势函数，$A_{\pi }(s_t,a_t)=Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)$。

直观理解：新策略 $\tilde{\pi }$ 的回报期望 = 原策略 $\pi$ 的回报期望 + 采用$新策略\tilde{\pi }$采样的轨迹中 “优势” 的期望总和（优势为正，新策略更好），此时的优势计算是基于旧策略$\pi$计算估计的。

对期望做展开
$$\begin{array}{rl}J(\tilde{\pi })& =J(\pi )+\sum _{t=0}^{\infty }\sum _{s}p(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a)\\ & =J(\pi )+\sum _s\sum _{t=0}^{\infty }{\gamma }^{t}p(s_t=s|\tilde{\pi })\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\end{array}$$

定义 ${\rho }_{\tilde{\pi }}$ 是折扣状态访问频率：

$${\rho }_{\pi }(s)=p(s_0=s)+\gamma p(s_1=s)+{\gamma }^{2}p(s_2=s)+\dots$$

则可以表示为：
$$J(\tilde{\pi })=J(\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)$$

3.2 局部近似

对于RL任务就是对$J(\tilde{\pi })$求梯度，$J(\pi )$对于$\tilde{\pi }$一节求导为0，有关于优势函数的式子中有两处与$\tilde{\pi }$相关，状态需要新策略，状态与动作的映射也是新策略，这会让优化比较麻烦，所以有了以下的操作：

用 “原策略 $\pi$ 的状态分布$
rho_{pi}(s)$”替代“新策略$tilde{pi}$ 的状态分布 ${\rho }_{\tilde{\pi }}(s)$“ 得到$J(\tilde{\pi })$的局部近似值$L_{\pi }(\tilde{\pi })$，可以得到：

$$L_{\pi }(\tilde{\pi })=J(\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)$$

这个近似是在一阶导数的局部近似，所以可以得出，在一个区域内$L_{\pi }(\tilde{\pi })$梯度等于${\rho }_{\pi }(s)$的梯度， $L_{\pi }(\tilde{\pi })$的值等于${\rho }_{\pi }(s)$，这意味着变化趋势和大小一致，所以可以近似的认为在一个区域内，优化$L_{\pi }(\tilde{\pi })$等价于优化${\rho }_{\pi }(s)$：

如果我们假定这个区域内有一个点为${\theta }_0$，则有以下等式：

$$L_{{\pi }_{{\theta }_0}}({\pi }_{{\theta }_0})=J({\pi }_{{\theta }_0})$$

∇θLπθ0(πθ)∣θ=θ0=∇θJ(πθ)∣θ=θ0
left. nabla_theta L_{pi_{theta_0}}(pi_theta) right|_{theta=theta_0} = left. nabla_theta J(pi_theta) right|_{theta=theta_0}
∇θ​Lπθ0​​​(πθ​)​θ=θ0​​=∇θ​J(πθ​)∣θ=θ0​​

3.2.1 值近似

证明：

$$L_{{\pi }_{{\theta }_0}}({\pi }_{{\theta }_0})=J({\pi }_{{\theta }_0})$$

当$\tilde{\pi }=\pi$时，替代损失变为：
$$L_{\pi }(\pi )=J(\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\pi (a|s)A_{\pi }(s,a)$$

需要证明额外项${\sum }_s{\rho }_{\pi }(s){\sum }_a\pi (a|s)A_{\pi }(s,a)=0$，即 “优势函数在策略$\pi$下的加权平均为 0”

我们需要以下几点

（1）. 转换为期望

$$\sum _a\pi (a|s)A_{\pi }(s,a)={\mathbb{E}}_{a\sim \pi (\cdot |s)}\left[A_{\pi }(s,a)\right]$$

（2）. 优势函数分解

$${\mathbb{E}}_a\left[A_{\pi }(s,a)\right]={\mathbb{E}}_a\left[Q_{\pi }(s,a)-V_{\pi }(s)\right]$$

（3）. 通过价值函数和Q函数之间的关系

$$V_{\pi }(s)={\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]$$
可以得到：
$${\mathbb{E}}_a\left[Q_{\pi }(s,a)-{\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]\right]$$

（4）. 期望的期望等于自身

$${\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]-{\mathbb{E}}_a\left[{\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]\right]={\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]-{\mathbb{E}}_a\left[Q_{\pi }(s,a)\right]=0$$

故证明${\sum }_s{\rho }_{\pi }(s){\sum }_a\pi (a|s)A_{\pi }(s,a)=0$
则可以得出：

$$L_{\pi }(\pi )=J(\pi )+0=J(\pi )$$

3.2.2 梯度近似

证明：
∇θLπθ0(πθ)∣θ=θ0=∇θ∣θ=θ0
left. nabla_theta L_{pi_{theta_0}}(pi_theta) right|_{theta=theta_0} = left. nabla_theta
right|_{theta=theta_0}
∇θ​Lπθ0​​​(πθ​)​θ=θ0​​=∇θ​∣θ=θ0​​

对于$L_{\pi }(\pi )$为：
$$L_{{\pi }_{{\theta }_0}}({\pi }_{\theta })=J({\pi }_{{\theta }_0})+\sum _s{\rho }_{{\pi }_{{\theta }_0}}(s)\sum _a{\pi }_{\theta }(a|s)A_{{\pi }_{{\theta }_0}}(s,a)$$

（1）. 对$\theta$求导

$${\nabla }_{\theta }{L}_{{\pi }_{{\theta }_0}}({\pi }_{\theta })=\sum _s{\rho }_{{\pi }_{{\theta }_0}}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)A_{{\pi }_{{\theta }_0}}(s,a)$$

其中$J({\pi }_{{\theta }_0})$ 与 $\theta$ 无关，所以导数为0。

（2）. 代入 $\theta ={\theta }_0$

得到 $L_{{\pi }_{{\theta }_0}}({\pi }_{\theta })$ 在 $\theta ={\theta }_0$ 处的导数。

∇θLπθ0(πθ)∣θ=θ0=∑sρπθ0(s)∑a∇θπθ(a∣s)∣θ=θ0Aπθ0(s,a)
left. nabla_theta L_{pi_{theta_0}}(pi_theta) right|_{theta = theta_0} = sum_s rho_{pi_{theta_0}}(s) sum_a left. nabla_theta pi_theta(a|s) right|_{theta = theta_0} A_{pi_{theta_0}}(s, a)
∇θ​Lπθ0​​​(πθ​)​θ=θ0​​=s∑​ρπθ0​​​(s)a∑​∇θ​πθ​(a∣s)∣θ=θ0​​Aπθ0​​​(s,a)

（3）. 引入 ${\nabla }_{\theta }J({\pi }_{\theta })$，

通过
$$L_{{\pi }_{{\theta }_0}}({\pi }_{{\theta }_0})=J({\pi }_{{\theta }_0})$$
等式可以得到：
$${\nabla }_{\theta }J({\pi }_{\theta })=\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)Q_{{\pi }_{\theta }}(s,a)$$

（4）. 化简 ${\nabla }_{\theta }J({\pi }_{\theta })$

$$\begin{array}{rl}\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)V_{{\pi }_{\theta }}(s)& =\sum _s{\rho }_{{\pi }_{\theta }}(s)V_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)\\ & =\sum _s{\rho }_{{\pi }_{\theta }}(s)V_{{\pi }_{\theta }}(s){\nabla }_{\theta }\sum _a{\pi }_{\theta }(a|s)\\ & =0\end{array}$$
这里的推导依据是：

• $V_{{\pi }_{\theta }}(s)$ 与 $a$ 无关，所以可以提出来。
• 求和的导数等于导数的求和，即 ${\nabla }_{\theta }{\sum }_a{\pi }_{\theta }(a|s)={\sum }_a{\nabla }_{\theta }{\pi }_{\theta }(a|s)$。
• 对于每个 $s$ 来说，${\sum }_a{\pi }_{\theta }(a|s)=1$，因此 ${\nabla }_{\theta }{\sum }_a{\pi }_{\theta }(a|s)={\nabla }_{\theta }1=0$。

（5）. 推导$J({\pi }_{\theta })$的导数

$$\begin{array}{rl}{\nabla }_{\theta }J({\pi }_{\theta })& =\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)Q_{{\pi }_{\theta }}(s,a)\\ & =\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)\left[Q_{{\pi }_{\theta }}(s,a)-V_{{\pi }_{\theta }}(s)\right]\\ & =\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)A_{{\pi }_{\theta }}(s,a)\end{array}$$
第二步是引入了4推导的结果，直接减去一个0值。

（6）. $J({\pi }_{\theta })$导数代入 $\theta ={\theta }_0$

$${{\nabla }_{\theta }J({\pi }_{\theta })|}_{\theta ={\theta }_0}=\sum _s{\rho }_{{\pi }_{{\theta }_0}}(s)\sum _a{{\nabla }_{\theta }{\pi }_{\theta }(a|s)|}_{\theta ={\theta }_0}{A}_{{\pi }_{{\theta }_0}}(s,a)$$

和2步的式子完全一致，则可以推导出：
∇θLπθ0(πθ)∣θ=θ0=∇θ∣θ=θ0
left. nabla_theta L_{pi_{theta_0}}(pi_theta) right|_{theta=theta_0} = left. nabla_theta
right|_{theta=theta_0}
∇θ​Lπθ0​​​(πθ​)​θ=θ0​​=∇θ​∣θ=θ0​​

3.3 信赖域

虽然可以说明在一个范围内，近似求解，但范围的大小是无法确定的，而这个区域就是信赖域，可以理解为在这个区域内更新是可以信赖的，是持续优化的。

对于信赖域可以以爬山举例：

线搜索就对应梯度上升和下降，而信赖域是对下一步的更新圈定一个范围。

2002 年，Kakade & Langford 提出了一种称为保守策略迭代的策略更新方案，他们可以为 J 的改进提供明确的下限。该界限在实践中具有限制性。

paper：https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/KakadeLangford-icml2002.pdf

本文修改了提出的下界，修改后的下界为：
$$J(\tilde{\pi })\ge L_{\pi }(\tilde{\pi })-C{D}_{\mathrm{KL}}^{\max }(\pi ,\tilde{\pi }),$$

其中 KL散度就代表参数更新的信赖空间（信赖域）

$$C=\frac{4ϵ\gamma }{(1-\gamma {)}^2}.$$

$$D_{\mathrm{KL}}^{\max }(\pi ,\tilde{\pi })=\underset{s}{\max }{D}_{\mathrm{KL}}(\pi (\cdot \mid s)\parallel \tilde{\pi }(\cdot \mid s))$$

下届理解可以看这个图：

from：https://jonathan-hui.medium.com/rl-trust-region-policy-optimization-trpo-part-2-f51e3b2e373a

如何保证基于下限的近似策略迭代方案生成单调改进的策略序列：
$$J({\pi }_0)\le J({\pi }_1)\le J({\pi }_2)\le \dots$$

如果你能保证单调改进，则能保证目标函数持续提升。

通过近似策略迭代方案来解决这个问题：

四、TRPO

TRPO是近似策略迭代方案的一种优化

4.1 更新步长很小

受惩罚系数C影响，更新步长会很小，优化速度会非常慢。

由于${\pi }_{\theta }$本身是基于$\theta$参数的策略，所以可以统一同$\theta$表示策略，则目标可以表示为最大化：

$$\underset{\theta }{\max }\left[L_{{\theta }_{old}}(\theta )-C{D}_{\text{KL}}^{\text{max}}({\theta }_{old},\theta )\right]$$

对于更新步数很小这个问题，可以通过KL散度作为惩罚项的极值问题，转化为KL散度作为约束条件的优化问题，将KL散度从公式中取出作为条件：
$$\underset{\theta }{\max }{L}_{{\theta }_{\text{old}}}(\theta )$$

$$\text{subject to }{D}_{\mathrm{KL}}^{\max }({\theta }_{\text{old}},\theta )\le \delta$$

相当于在以${\theta }_0$为球（圆）心的，以炒参数$\delta$为半径的信赖域中更新参数可以提高$L_{{\pi }_{old}}(\pi )$（由前面的近似可以等价于提高$J(\pi )$）的策略$\pi$

$L_{\pi }$为：

$$L_{\pi }(\tilde{\pi })=J(\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)$$

用$\theta$替换：

$$L_{{\theta }_{old}}(\theta )=J({\theta }_{old})+\sum _s{\rho }_{{\theta }_{old}}(s)\sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)$$

其中$J({\theta }_{old})$与$\theta$无关，可以去掉，得到最终的目标函数：

$$\begin{array}{rl}& \underset{\theta }{\mathrm{maximize}}\sum _s{\rho }_{{\theta }_{old}}(s)\sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)\\ & \text{subject to }{D}_{KL}^{max}({\theta }_{old},\theta )\le \delta \end{array}$$

4.2 重要性采样

目标函数的s映射a都是从新策略中采样的，但是新策略都是未知的，需要更新参数后才能得到，所以这里需要重要性采样，通过采样旧采样策略：

$$\begin{array}{rl}\sum _s{\rho }_{{\theta }_{\text{old}}}(s)\sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)& =\sum _s{\rho }_{{\theta }_{\text{old}}}(s)\sum _{a}q(a|s)\frac{{\pi }_{\theta }(a|s)}{q(a|s)}{A}_{{\theta }_{\text{old}}}(s,a)\\ & =\sum _s{\rho }_{{\theta }_{\text{old}}}(s){\mathbb{E}}_{a\sim q}\left[\frac{{\pi }_{\theta }(a|s)}{q(a|s)}{A}_{{\theta }_{\text{old}}}(s,a)\right]\\ & ={\mathbb{E}}_{s\sim {\rho }_{{\theta }_{\text{old}}},a\sim q}\left[A_{{\theta }_{\text{old}}}(s,a)\right]\end{array}$$

Ref

• https://jonathan-hui.medium.com/rl-trust-region-policy-optimization-trpo-explained-a6ee04eeeee9
• https://jonathan-hui.medium.com/rl-trust-region-policy-optimization-trpo-part-2-f51e3b2e373a
• https://medium.com/@hsinhungw/trust-region-policy-optimization-explained-c2671542c329
• https://www.cnblogs.com/xingzheai/p/16565686.html
• https://zhuanlan.zhihu.com/p/605886935

文章来源于互联网:【RL第五篇】信赖域策略优化-Trust Region Policy Optimization（TRPO）

相关推荐: 【AIGC学习】一文带你了解AIGC基础知识（适用于AI入门小白）

▌导读 前言 人工智能生成内容（AIGC）正以前所未有的速度改变着我们的生活。你是否也对这项技术充满好奇，却苦于无从下手？本指南专为 AI 入门小白打造，用通俗易懂的语言带你快速了解 AIGC 的核心概念、应用场景和发展趋势。无需任何技术背景，只需一颗探索的心…