【强化学习理论】基于策略的强化学习——深度确定性策略梯度算法

【强化学习理论】基于策略的强化学习——深度确定性策略梯度算法

深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG）是一种Actor-Critic框架的算法，该算法常用于连续控制任务（动作空间为连续型），其中Actor网络产生的动作是具体的、确定的动作而非动作的分布，因此被称为“确定性”策略梯度。本文介绍深度确定性策略梯度算法。

注：本文是在观看【王树森】深度强化学习(DRL)P19后的整理。

1. DDPG算法结构

DDPG作为一种Actor-Critic算法，由一个Actor网络（策略网络$\mu (s;\theta )$，$\theta$表示网络参数）和一个Critic网络（价值网络$q(s,a;\omega )$，$\omega$表示网络参数）组成，如下图所示。

图源【王树森】深度强化学习(DRL)P19。

• Actor网络：输入为状态$s$，输出为具体的动作（实数或者向量）$a$而非动作的概率分布，即$a=\mu (s;\theta )$这个动作会作为Critic网络的输入之一。

  Actor的目标是输出好的动作（”好“与”不好“由Critic评估），使得Critic输出的动作价值尽量高。因此Actor的优化需要Critic参与，并需要对$\theta$进行梯度上升。

• Critic网络：输入为状态$s$和Actor网络的输出$a$，输出为状态-动作对$(s,a)$的价值，即$Q(s,a)=q(s,a;\theta )$。

  Critic的目标是尽量准确地评估动作的好坏，即准确地估计动作价值（这一点与DQN一致）。因此Critic的优化需要最小化TD error（后面解释什么是TD error），对$\omega$进行梯度下降。

实际训练时，策略网络和价值网络都有对应的目标网络——目标策略网络（target policy network）$\mu (s;{\theta }^{-})$和目标价值网络（target value network）$q(s,a;{\omega }^{-})$，即DDPG中总共有4个神经网络。

2. 如何训练Critic网络

由于Critic的目标是尽量准确地评估动作的好坏，即准确地估计动作价值，使用TD算法训练Critic网络。此时需要最小化TD error。

对于一个transition元组$(s_t,a_t,r_t,s_{t+1]})$，一般认为当前状态-动作对的动作价值$Q(s_t,a_t)$的目标（类似于”ground truth“的概念）为$r_t+\gamma Q(s_{t+1},a_{t+1})$，则可定义TD error ${\delta }_t$为：
$${\delta }_t=Q(s_t,a_t)-(r_t+\gamma Q(s_{t+1},a_{t+1}))$$
对于一个transition元组$(s_t,a_t,r_t,s_{t+1})$，当前状态-动作对及未来下一步状态-动作对的动作价值均可以使用Critic网络估计：
$$Q(s_t,a_t)=q(s_t,a_t;\omega ),Q(s_{t+1},{\hat{a}}_{t+1})=q(s_{t+1},{\hat{a}}_{t+1};\omega )$$
其中，下一状态的动作由策略网络计算提供，${\hat{a}}_{t+1}=\mu (s_{t+1};\theta )$，并非实际发生的动作，因此记为${\hat{a}}_{t+1}$。进一步的，可以计算TD error：
$${\delta }_t=q(s_t,a_t;\omega )-\underset{target}{\underbrace{(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega ))}}$$
有了TD error，根据Critic的目标，Critic网络的目标函数可以写成：
$$\mathcal{J}(\omega )={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}[{\delta }_t^2]={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}[(q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega {)))}^2]$$
则网络参数更新的梯度为：
$$\begin{array}{rl}\frac{\partial \mathcal{J}(\omega )}{\partial \omega }& =\frac{\partial {\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}[(q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega {)))}^2]}{\partial \omega }\\ & ={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}\left[\frac{\partial [(q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega {)))}^2]}{\partial \omega }\right]\\ & ={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}\left[2\cdot (q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega )))\cdot \frac{\partial (q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega )))}{\partial \omega }\right]\\ & ={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}\left[2\cdot (q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega )))\cdot \left(\frac{\partial q(s_t,a_t;\omega )}{\partial \omega }-\frac{\partial r_t}{\partial \omega }-\frac{\partial q(s_{t+1},{\hat{a}}_{t+1};\omega )}{\partial \omega }\right)\right]\\ & ={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}\left[2\cdot (q(s_t,a_t;\omega )-(r_t+q(s_{t+1},{\hat{a}}_{t+1};\omega )))\cdot \left(\frac{\partial q(s_t,a_t;\omega )}{\partial \omega }-0-0\right)\right]\\ & ={\mathbb{E}}_{(s_t,a_t)\in (\mathcal{S},\mathcal{A})}\left[{\delta }_t\cdot \frac{\partial q(s_t,a_t;\omega )}{\partial \omega }\right]\end{array}$$

由于对不同状态-动作对求期望与求偏导对象$\omega$无关，因此可以将求期望运算从求偏导中提取出来，第一行转化为第二行；

根据链式法则，第二行转化为第三行；

在第四行中，$r_t$与求偏导对象$\omega$无关，因此$\frac{\partial r_t}{\partial \omega }=0$；在后续会提到计算$q(s_{t+1},{\hat{a}}_{t+1};\omega )$实际使用的是目标价值网络，该网络的参数实际为${\omega }^{-}$而不是$\omega$，因此$q(s_{t+1},{\hat{a}}_{t+1};\omega )$与求偏导对象$\omega$也无关，$\frac{\partial q(s_{t+1},{\hat{a}}_{t+1};\omega )}{\partial \omega }=0$，第四行转化为第五行；

根据TD error的定义，简化第五行，同时可忽略常数，得到第六行。

在神经网络中计算时，会按当前batch中的样本计算网络参数的梯度，即随机梯度${\delta }_t\cdot \frac{\partial q(s_t,a_t;\omega )}{\partial \theta }$。则Critic网络参数更新的式子为：
$$\omega \leftarrow \omega -\alpha \cdot {\delta }_t\cdot \frac{\partial q(s_t,a_t;\omega )}{\partial \omega }$$
其中，$\alpha$为Critic网络的学习率。

3. 如何训练Actor网络

Actor的目标是输出好的动作（”好“与”不好“由Critic评估），使得Critic输出的动作价值尽量高。因此Actor的优化需要Critic参与。

根据Actor的目标，Actor网络的目标函数可以写成：
$$\mathcal{J}(\theta )={\mathbb{E}}_{(s_t,a_t)\sim (\mathcal{S},\mathcal{A})}[q(s_t,a_t;\omega )]={\mathbb{E}}_{(s_t,a_t)\sim (\mathcal{S},\mathcal{A})}[q(s_t,\mu (s_t;\theta );\omega )]$$
则网络参数更新的梯度（这里直接写成随机梯度，省略期望）为：
$$\begin{array}{rl}\frac{\partial \mathcal{J}(\theta )}{\partial \theta }& \leftarrow \frac{\partial q(s_t,\mu (s_t;\theta );\omega )}{\partial \theta }\\ & =\frac{\partial q(s_t,\mu (s_t;\theta );\omega )}{\partial \mu (s_t;\theta )}\cdot \frac{\partial \mu (s_t;\theta )}{\partial \theta }(此即为确定策略梯度)\end{array}$$

根据链式法则，第一行转化为第二行。

令$g=\frac{\partial q(s_t,\mu (s_t;\theta );\omega )}{\partial \mu (s_t;\theta )}\cdot \frac{\partial \mu (s_t;\theta )}{\partial \theta }$，$g$即为确定策略梯度。由此，Actor网络参数更新的式子为：
$$\theta \leftarrow \theta +\beta \cdot g$$

4. 目标网络的使用

DQN中提到，前述TD error的计算方式会存在高估或低估动作价值的问题，这是因为TD error的计算中涉及到自举（Bootstrapping），在使用价值网络估计$Q(s_{t+1},a_{t+1})$时，如果此值已经高于或低于真实值，则对$Q(s_t,a_t)$的估计也会高于或低于真实值。为了解决过估计的问题，DQN中使用了目标网络，此处也可以应用。

具体而言，记计算$Q(s_{t+1},a_{t+1})$使用的神经网络为目标价值网络$q(s_{t+1},a_{t+1};{\omega }^{-})$，其中$a_{t+1}$的计算也需要引入新的策略网络，即目标策略网络$\mu (s_{t+1};{\theta }^{-})$。

目标网络更新参数的方式为：
$${\omega }^{-}\leftarrow \tau \omega +(1-\tau ){\omega }^{-},{\theta }^{-}\leftarrow \tau \theta +(1-\tau ){\theta }^{-}$$
其中，$\tau \in (0,1)$，是一个超参数。当$\tau =1$时，此种目标网络的更新方式与DQN的目标网络的更新方式一致。

5. 深度确定性策略梯度算法的流程

参考：第 13 章 DDPG 算法

6. 随机性策略和确定性策略的区别

参考：【王树森】深度强化学习(DRL)P19