当前位置：首页 > article >正文

强化学习的数学原理（七-3）TD算法总结

article 2025/1/17 8:49:17

一、TD算法的统一表达

之前的所有能迭代策略的TD算法包括MC算法，都可以统一的表达为下面的形式：

$q_{t+1}\left ( s_t,a_t \right )=q_{t}\left ( s_t,a_t \right )-\alpha _{t}\left ( s_t,a_t \right )\left [ q_{t}\left ( s_t,a_t \right )-\overline{q}_{t} \right ]$

TD算法的目的就是使 $q_{t}$ 向TD target $\overline{q}_{t}$ 收敛。

Sarsa	$\overline{q}_{t}=r_{t+1}+\gamma q_{t}\left ( s_{t+1},a_{t+1} \right )$
Expected Sarsa	$\overline{q}_{t}=r_{t+1}+\gamma \mathbb{E}\left [ q_{t}\left ( s_{t+1},A \right ) \right ]=r_{t+1}+\gamma \displaystyle\sum_{a}q_{t}\left ( s_{t+1},a \right )\pi _{t}\left ( a\|s_{t+1} \right )$
n-step Sarsa	$\overline{q}_{t}=r_{t+1}+\gamma r_{t+2}+...+\gamma^{n} q_{t}\left ( s_{t+n},a_{t+n} \right )$
Q-learning	$\overline{q}_{t}=r_{t+1}+\gamma \displaystyle\max_{a}q_{t}\left ( s_{t+1},a \right )$
MC	$\overline{q}_{t}=r_{t+1}+\gamma r_{t+2}+...$ and $\alpha _{t}\left ( s_t,a_t \right )=1$

二、TD算法求解的数学问题

除了Q-learning其他的TD算法都是把policy evaluation 与policy improvement结合以找到最优策略。而policy evaluation在求解以下的问题。

BE：求解贝尔曼公式；BOE：求解贝尔曼最优公式。

Sarsa	BE： $q_{\pi }=\mathbb{E}\left [ R_{t+1} +\gamma q_{\pi }\left ( S_{t+1},A_{t+1} \right )\| S_{t}=s,A_{t} =a\right ]$
Expected Sarsa	BE： $q_{\pi }=\mathbb{E}\left [ R_{t+1}+\gamma \mathbb{E}_{A_{t+1}}\left [ q_{\pi }\left ( S_{t+1},A_{t+1} \right ) \right ]\|S_{t}=s,A_{t}=a \right ]$
n-step Sarsa	BE： $q_{\pi }=\mathbb{E}\left [ R_{t+1}+\gamma R_{t+2}+...+\gamma^{n} q_{\pi }\left ( S_{t+n},A_{t+n} \right )\|S_{t}=s,A_{t}=a \right ]$
Q-learning	BOE： $q_{\pi }=\mathbb{E}\left [ R_{t+1}+\gamma \displaystyle\max_{a}q_{\pi }\left ( S_{t+1},a \right ) \|S_{t}=s,A_{t}=a\right ]$
MC	BE： $q_{\pi }=\mathbb{E}\left [ R_{t+1}+\gamma R_{t+2}+... \|S_{t}=s,A_{t}=a\right ]$ and $\alpha _{t}\left ( s_t,a_t \right )=1$