强化学习Markov重要公式推导过程

Markov决策过程（Markov Decision Process，MDP）

Markov过程是一种用于描述决策问题的数学框架，是强化学习的基础。MDP中，决策者面对一系列的状态和动作，每个状态下采取不同的动作会获得不同的奖励，决策者的目标是制定一种策略，使得长期累积的奖励最大化。

MDP具有以下特点：

• 状态具有马尔可夫性质，即当前状态包含了过去所有状态的信息，未来状态只与当前状态相关，与过去状态无关；
• 决策者在每个状态下采取的动作会影响下一时刻的状态转移；
• 在每个状态下采取的动作会获得一个即时奖励，目标是最大化长期累积奖励。

MDP可以用五元组 $(\mathcal{S},\mathcal{A},p,r,\gamma )$ 来表示，其中：

• $\mathcal{S}$ 是状态集合；
• $\mathcal{A}$ 是动作集合；
• $p(s^{\prime }|s,a)$ 表示在状态 $s$ 采取动作 $a$ 后转移到状态 $s^{\prime }$ 的概率；
• $r(s,a)$ 表示在状态 $s$ 采取动作 $a$ 后获得的即时奖励；
• $\gamma \in [0,1]$ 是折扣因子，用于平衡当前奖励和未来奖励的重要性。

定义在时间 $\mathrm{t}$, 从状态 ${\mathrm{s}}_{\mathrm{t}}=\mathrm{s}$ 和动作 ${\mathrm{A}}_{\mathrm{t}}=\mathrm{a}$ 跳转到下一状态 $S_{t+1}=s^{\prime }$ 和奖励 $R_{t+1}=r$ 的概率为:
$$\mathrm{Pr}\left[S_{t+1}=s^{\prime },R_{t+1}=r\mid S_t=s,A_t=a\right]$$

在MDP中，决策者需要制定一种策略 $\pi :\mathcal{S}\to \mathcal{A}$，将每个状态映射到相应的动作。根据策略，可以计算出每个状态的状态值函数 $V^{\pi }(s)$ 和动作值函数 $Q^{\pi }(s,a)$，用于评估策略的好坏。同时，还可以使用值迭代、策略迭代等算法，来寻找最优策略，使得长期累积奖励最大化。

对于有限 Markov决策过程, 可以定义函数 $p:\mathcal{S}\times \mathcal{R}\times \mathcal{S}\times \mathcal{A}\to [0,1]$ 为 Markov决策过程的动力 (dynamics):
$$\mathrm{p}\left({\mathrm{s}}^{\prime },\mathrm{r}\mid \mathrm{s},\mathrm{a}\right)=\mathrm{Pr}\left[{\mathrm{S}}_{\mathrm{t}+1}={\mathrm{s}}^{\prime },{\mathrm{R}}_{\mathrm{t}+1}=\mathrm{r}\mid {\mathrm{S}}_{\mathrm{t}}=\mathrm{s},{\mathrm{A}}_{\mathrm{t}}=\mathrm{a}\right]$$
p函数中间的坚线 “ $\mid$ ”取材于条件概率中间的坚线。

利用动力的定义, 可以得到以下其他导出量。

• 状态转移概率（1.1）:
  $$p\left(s^{\prime }\mid s,a\right)=\mathrm{Pr}\left[S_{t+1}=s^{\prime }\mid S,=s,A=a\right]=\sum _{r\in \mathbb{R}}p\left(s^{\prime },r\mid s,a\right),s\in \mathcal{S},a\in \mathcal{A},s^{\prime }\in \mathcal{S}$$

• 给定 “状态 - 动作” 的期望奖励（1.2）：
  $$r(s,a)=\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a\right]=\sum _{r\in \mathbb{R}}r\sum _{s^{\prime }\in S}p\left(s^{\prime },r\mid s,a\right),s\in \mathcal{S},a\in \mathcal{A}$$

• 给定 “状态 - 动作 -下一状态” 的期望奖励（1.3）:
  $$r\left(s,a,s^{\prime }\right)=\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]=\sum _{r\in \mathbb{R}}r\frac{p\left(s^{\prime },r\mid s,a\right)}{p\left(s^{\prime }\mid s,a\right)},s\in \mathcal{S},a\in \mathcal{A},s^{\prime }\in \mathcal{S}$$

公式(1.3)推导过程 我们可以使用条件概率的公式来推导 $r(s,a,s^{\prime })$ 的公式。根据条件概率的定义，有： $$\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]=\sum _{r}r\cdot \mathrm{Pr}\left(R_{t+1}=r\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right)$$

利用条件概率公式的两种形式
$P(A，B)=P(A\mid B)\cdot P(B)$
$P(A\mid B)\cdot P(B)=P(A，B)$

对下面的概率公式进行转化
$$\begin{array}{rl}& \mathrm{Pr}\left(R_{t+1}=r\mid S_t=S,A_t=a,S_{t+1}=s^{\prime }\right)\\ & =\frac{\mathrm{Pr}\left(R_{t+1}=r,S_t=s,A_t=a,S_{t+1}=s^{\prime }\right)}{\mathrm{Pr}\left(S_t=s,A_t=a,S_{t+1}=s^{\prime }\right)}\\ & =\frac{\mathrm{Pr}\left({\mathrm{R}}_{\mathrm{t}+1}=r,S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)\cdot \mathrm{Pr}\left(S_t=s,A_t=a\right)}{\mathrm{Pr}\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)\cdot \mathrm{Pr}\left(S_t=s,A_t=a\right)}\\ & =\frac{\mathrm{Pr}\left(R_{t+1}=r,S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)}{\mathrm{Pr}\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)}\end{array}$$
而根据贝叶斯公式，我们可以将上式中的条件概率转换为联合概率和边缘概率的形式，即：
$$\mathrm{Pr}\left(R_{t+1}=r\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right)=\frac{\mathrm{Pr}\left(S_{t+1}=s^{\prime },R_{t+1}=r\mid S_t=s,A_t=a\right)}{\mathrm{Pr}\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)}$$ 将上式代入前面的式子中，得到： $$\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]=\sum _{r}r\cdot \frac{\mathrm{Pr}\left(S_{t+1}=s^{\prime },R_{t+1}=r\mid S_t=s,A_t=a\right)}{\mathrm{Pr}\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)}$$ 根据MDP中的状态转移概率 $p(s^{\prime },r|s,a)$
和状态转移概率的定义，我们可以将上式中的条件概率表示为 $p(s^{\prime },r|s,a)$ 的形式，即： $$\mathrm{Pr}\left(S_{t+1}=s^{\prime },R_{t+1}=r\mid S_t=s,A_t=a\right)=p\left(s^{\prime },r\mid s,a\right)$$
同样地，根据MDP中的状态转移概率 $p(s^{\prime }|s,a)$ 和状态转移概率的定义，我们可以将上式中的边缘概率表示为 $p(s^{\prime }|s,a)$
的形式，即： $$\mathrm{Pr}\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)=p\left(s^{\prime }\mid s,a\right)$$
将上面两个式子代入前面的式子中，得到：
$$\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]=\sum _{r}r\cdot \frac{p\left(s^{\prime },r\mid s,a\right)}{p\left(s^{\prime }\mid s,a\right)},s\in \mathcal{S},a\in \mathcal{A},s^{\prime }\in \mathcal{S}$$ 这就是
$r(s,a,s^{\prime })$ 的公式推导过程。

回报

假设某一回合在第 $T$ 步终止，则从 $t(t<T)$ 以后的回报 $G_t$ 定义为未来奖励和：

$$G_t=R_{t+1}+R_{t+2}+\cdots +R_T$$

引入折扣因子 $\gamma \in [0,1]$，则回报 $G_t$ 可以表示为：

$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots =\sum _{\tau =0}^{+\infty }{\gamma }^{\tau }{R}_{t+\tau +1}$$

其中，$R_t$ 表示第 $t$ 步的奖励，$\gamma$ 表示折扣因子，$t$ 表示当前步数。

策略

定义策略(policy）为从状态到动作的转移概率
$$\pi (a\mid s)=Pr[A_t=a\mid S_t=s],s\in S,a\in A$$

价值函数

基于回报的定义，可以进一步定义价值函数 (value function)。对于给定的策略 $\pi$, 可以定义以下价值函数。

• 状态价值函数 (state value function): 状态价值函数 ${\mathrm{v}}_{\pi }(\mathrm{s})$ 表示从状态的开始采用策略 $\pi$ 的预期回报。如下式所示:
  $${\mathrm{v}}_{\pi }(\mathrm{s})={\mathrm{E}}_{\pi }\left[{\mathrm{G}}_{\mathrm{t}}\mid {\mathrm{S}}_{\mathrm{t}}=\mathrm{s}\right]$$
• 动作价值函数 (action value function)：动作价值函数 ${\mathrm{q}}_{\pi }(\mathrm{s},\mathrm{a})$ 表示在状态 $\mathrm{s}$ 采取动作 $\mathrm{a}$ 后，采用策略 $\pi$ 的预期回报。如下式所示:
  $${\mathrm{q}}_{\pi }(\mathrm{s},\mathrm{a})={\mathrm{E}}_{\pi }\left[{\mathrm{G}}_{\mathrm{t}}\mid {\mathrm{S}}_{\mathrm{t}}=\mathrm{s},{\mathrm{A}}_{\mathrm{t}}=\mathrm{a}\right]$$
  终止状态$s_{终止}$不是一个一般的状态，终止状态后没有动作。为了在数学上有统一的形式, 一般定义 ${\mathrm{v}}_{\pi }\left({\mathrm{s}}_{\text{终止 }}\right)=0,{\mathrm{q}}_{\pi }\left({\mathrm{s}}_{\text{终止 }},\mathrm{a}\right)=0(a\in \mathcal{A})$ 。

动作价值函数和状态价值函数的互相表示以及贝尔曼期望方程

• 用 $\mathrm{t}$ 时刻的动作价值函数表示 $\mathrm{t}$ 时刻的状态价值函数:
  $$v_{\pi }(s)=\sum _a\pi (a\mid s)q_{\pi }(s,a),s\in S$$
  （推导：对任一状态 $s\in \mathcal{S}$, 有
  $$\begin{array}{rl}& v_{\pi }(s)={\mathrm{E}}_{\pi }\left[G_t\mid S_t=s\right]\\ & =\sum _{g}g\mathrm{Pr}\left[G_t=g\mid S_t=s\right]\\ & =\sum _{g}g\sum _a\mathrm{Pr}\left[G_t=g,A_t=a\mid S_t=s\right]\\ & （对概率部分利用条件概率公式变形，拆成两个概率乘积\\ & =\sum _{g}g\sum _a\frac{\mathrm{Pr}\left[G_t=g,A_t=a,S_t=s\right]}{\mathrm{Pr}\left[S_t=s\right]}\\ & =\sum _{g}g\sum _a\frac{\mathrm{Pr}\left[G_t=g\mid A_t=a,S_t=s\right]\cdot \mathrm{Pr}\left[A_t=a,S_t=s\right]}{\mathrm{Pr}\left[S_t=s\right]}\\ & ）\\ & =\sum _{g}g\sum _a\mathrm{Pr}\left[A_t=a\mid S_t=s\right]\mathrm{Pr}\left[G_t=g\mid S_t=s,A_t=a\right]\\ & =\sum _a\mathrm{Pr}\left[A_t=a\mid S_t=s\right]\sum _{g}g\mathrm{Pr}\left[G_t=g\mid S_t=s,A_t=a\right]\\ & =\sum _a\mathrm{Pr}\left[A_t=a\mid S_t=s\right]{\mathrm{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]\\ & =\sum _a\pi (a\mid s)q_{\pi }(s,a)\\ & \end{array}$$
• 用$t+1$时刻的状态价值表示$t$时刻的动作价值函数:
  $$\begin{array}{rl}{q}_{\pi }(s,a)& =r(s,a)+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\\ & =\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right],s\in \mathcal{S},a\in \mathcal{A}\end{array}$$
  （推导：对任意的状态 $s\in \mathcal{S}$ 和动作 $a\in \mathcal{A}$, 有
  $$\begin{array}{rl}& {\mathrm{E}}_{\pi }\left[G_{t+1}\mid S_t=s,A_t=a\right]\\ & =\sum _{g}g\mathrm{Pr}\left[G_{t+1}=g\mid S_t=S,A_t=a\right]\\ & =\sum _{g}g\sum _{s^{\prime }}\mathrm{Pr}\left[S_{t+1}=s^{\prime },G_{t+1}=g\mid S_t=s,A_t=a\right]\\ & =\sum _{g}g\sum _{s^{\prime }}\frac{\mathrm{Pr}\underline{\left[S_{t+1}=s^{\prime },G_{t+1}=g,S_t=s,A_t=a\right]}}{\mathrm{Pr}\underline{\left[S_t=S,A_t=a\right]}}\\ & 注意观察划线区域在下面的位置变化\\ & =\sum _{g}g\sum _{s^{\prime }}\frac{\mathrm{Pr}\underline{\left[S_{t+1}=s^{\prime },G_{t+1}=g,S_t=s,A_t=a\right]}}{\mathrm{Pr}\left[S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]}\cdot \frac{\mathrm{Pr}\left[S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]}{\mathrm{Pr}\underline{\left[S_t=S,A_t=a\right]}}\\ & =\sum _{g}g\sum _{s^{\prime }}\mathrm{Pr}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]\mathrm{Pr}\left[G_{t+1}=g\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]\\ & 利用Markov性对后面部分进行精简\\ & =\sum _{g}g\sum _{s^{\prime }}\mathrm{Pr}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]\mathrm{Pr}\left[G_{t+1}=g\mid S_{t+1}=s^{\prime }\right]\\ & =\sum _{s^{\prime }}\mathrm{Pr}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]\sum _{g}g\mathrm{Pr}\left[G_{t+1}=g\mid S_{t+1}=s^{\prime }\right]\\ & =\sum _{s^{\prime }}\mathrm{Pr}\left[S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right]{\mathrm{E}}_{\pi }\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]\\ & =\sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\\ & \end{array}$$

其中 $\mathrm{Pr}\left[G_{t+1}=g\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }\right]=Pr\left[G_{t+1}=g\mid S_{t+1}=s^{\prime }\right]$ 用到了Markov性。

回忆前面我们定义的
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots =\sum _{\tau =0}^{+\infty }{\gamma }^{\tau }{R}_{t+\tau +1}$$
观察各项可以发现
$$G_{t+1}=R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+\cdots =\frac{G_t-R_{t+1}}{\gamma }$$
也就是说$G_{t+1}和G_t$存在递推关系
$$G_t=R_{t+1}+\gamma G_{t+1}$$

回顾1.2公式

• 给定 “状态 - 动作” 的期望奖励（1.2）：
  $$r(s,a)=\mathrm{E}\left[R_{t+1}\mid S_t=s,A_t=a\right]=\sum _{r\in \mathbb{R}}r\sum _{s^{\prime }\in S}p\left(s^{\prime },r\mid s,a\right),s\in \mathcal{S},a\in \mathcal{A}$$
  结合刚刚推导出的${\mathrm{E}}_{\pi }\left[G_{t+1}\mid S_t=s,A_t=a\right]$的表达式
  利用上式，最终有

$$\begin{array}{rl}{q}_{\pi }(s,a)& ={\mathrm{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]\\ & ={\mathrm{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s,A_t=a\right]\\ & ={\mathrm{E}}_{\pi }\left[R_{t+1}\mid S_t=s,A_t=a\right]+{\mathrm{E}}_{\pi }\left[\gamma G_{t+1}\mid S_t=s,A_t=a\right]\\ & ={\mathrm{E}}_{\pi }\left[R_{t+1}\mid S_t=s,A_t=a\right]+\gamma {\mathrm{E}}_{\pi }\left[G_{t+1}\mid S_t=s,A_t=a\right]\\ & =\sum _{r\in \mathbb{R}}r\sum _{s^{\prime }\in S}p\left(s^{\prime },r\mid s,a\right)+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\\ & =\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right]\end{array}$$
这样就得到了结果

不同时刻价值函数表示

• 用下一时刻的状态价值函数表示当前时刻的状态价值函数
  $$\begin{array}{rl}{\nu }_{\pi }& =\sum _a\pi (s\mid a)\cdot q_{\pi }(s,a),s\in S\\ {\nu }_{\pi }& =\sum _a\pi (s\mid a)\left[r(s,a)+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right){\nu }_{\pi }\left(s^{\prime }\right)\right],s\in S\end{array}$$
• 用下一时刻动作价值函数表示当前动作价值函数

$$\begin{gathered} q_{\pi }(s,a)=\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right],s\in \mathcal{S},a\in \mathcal{A} \\ {q}_{\pi }(s,a)=\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma \sum _{a^{\prime }}\pi \left(a^{\prime }\mid s^{\prime }\right)q_{\pi }\left(s^{\prime },a^{\prime }\right)\right],s\in \mathcal{S},a\in \mathcal{A} \end{gathered}$$