RNN/LSTM/GRU 学习笔记

RNN/LSTM/GRU

一、RNN

1、为何引入RNN？

循环神经网络（Recurrent Neural Network，RNN） 是用来建模序列化数据的一种主流深度学习模型。我们知道，传统的前馈神经网络一般的输入都是一个定长的向量，无法处理变长的序列信息，即使通过一些方法把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。RNN则通过将神经元串行起来处理序列化的数据。由于每个神经元能用它的内部变量保存之前输入的序列信息，因此整个序列被浓缩成抽象的表示，并可以据此进行分类或生成新的序列¹。

2、RNN的基本结构

RNN的朴素形式可分别由如下两幅图表示²：

其中$x_1,x_2,\cdots ,x_T$ 是输入，每一个位置是一个实数向量；$U$、$V$、$W$ 是权重矩阵，通常在模型初始化时随机生成，通过梯度下降进行优化；$h_t$ 是位于隐藏层上的活性值，很多文献上也称为状态（State）或隐状态（Hidden State）；$p_t$ 表示第 $t$ 个位置上的输出。

$h_t$、$p_t$ 可由下列公式得出（$b$ 是偏置项）：
$$h_t=\tanh \left(U\cdot h_{t-1}+W\cdot x_t+b\right)$$

$$p_t=\mathrm{softmax}(V\cdot h_t+c)$$

3、各种形式的RNN及其应用

(图片来自于cs231n)

4、RNN的缺陷

RNN通过在所有时间步共享相同的权重，使得可以在不同时间步之间传递和积累信息，从而更好地捕捉序列数据中的长期依赖关系，但是缺点也很明显：在RNN的学习过程中，由于共享权重 $W$，导致随着时间步的增加，权重矩阵 $W$ 不断连乘，最终产生梯度消失（即 $\frac{\partial {\mathcal{L}}_t}{\partial {\mathbf{h}}_k}$ 消失， $1\le k\le t$ ）和梯度爆炸，具体解释如下：

首先由RNN前向传播公式：
$$h_t=f(W\cdot h_{t-1}+U\cdot x_t+b)$$
其中 $f$ 为激活函数。

在反向传播时（BPTT），损失函数 $\mathcal{L}$ 对某一时间步长的梯度涉及到时间上所有的前置状态，因此梯度会被多个矩阵连乘表示为:
$$\frac{\partial \mathcal{L}}{\partial h_t}=\frac{\partial \mathcal{L}}{\partial h_T}\cdot \prod _{k=t}^{T-1}{A}_k$$
其中$A_k=\mathrm{diag}(f^{\prime }(h_k))\cdot W$ 。

显然若 $W>1$，随着时间的增加，多个 $W$ 连乘后结果会不断增大，最终导致梯度爆炸；

同理 $W<1$，多个 $W$ 连乘后结果会不断减小至趋于0，最终导致梯度消失。

而在CNN中，每一层的权重矩阵 $W$ 是不同的，并且在初始化时它们是独立同分布的，因此最后可以相互抵消，不容易发生梯度爆炸或消失。

5、如何应对RNN的缺陷？

① 对于梯度爆炸，一般通过权重衰减（Weight Decay） 或梯度截断（Gradient Clipping） 来避免³。权重衰减，通过引入衰减系数来约束并避免权重矩阵元素过大，从而减少梯度连乘时的爆炸风险；梯度截断，直接将梯度大小进行限制以防止梯度爆炸，比如按值截断：在第 $t$ 次迭代时，梯度为 $g_t$ ，给定一个区间 $[a,b]$ ，如果一个参数的梯度小于 $a$ 时，就将其设为 $a$ ；如果大于 $b$ 时，就将其设为 $b$，公式如下：
$${\mathbf{g}}_t=\max (\min ({\mathbf{g}}_t,b),a).$$

② 对于梯度消失，一个想法是改进激活函数，比如替换成 ReLU ，因为其右侧导数恒为 1 ，可以缓解梯度消失（不能杜绝，因为本质上是权重矩阵的问题）。缺点是不好解决梯度爆炸，从 RNN 的前向传播公式来看待这个问题，前向传播公式如下：
$$h_t=f(W\cdot h_{t-1}+U\cdot x_t+b)$$
使用 ReLU 激活函数后， $h_t$ 可表达为：
$$h_t=\mathrm{relu}\left(W\cdot h_{t-1}+U\cdot x_t+b\right)$$
显然不管 $h_{t-1}$ 怎么变化，前面始终要乘上一个权重矩阵 $W$ ，因此替换激活函数后，并不能实质上解决由于权重矩阵 $W$ 连乘而导致的梯度爆炸问题。

③ 使用合适的权重初始化方法，如 Xavier 初始化或 He 初始化，使 $W$ 的特征值接近 1 。

如果从结构上来考虑，通过改变网络结构来减缓梯度消失或爆炸，长短期记忆网络（LSTM，Long Short-Term Memory） 就是基于这个想法诞生的。

6、BPTT和BP的区别

BP算法：只处理纵向层级间的梯度反向传播，适用于前馈神经网络。

BPTT算法：在训练RNN时，需要同时处理纵向层级间的反向传播（深度方向）和时间维度上的反向传播（时间方向）。

二、LSTM

1、LSTM 简介

LSTM 是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。LSTM 网络结构如下：

在这里插入图片描述

LSTM 网络引入门控机制（Gating Mechanism） 来控制信息传递的路径，公式如下：
$$\begin{array}{c}{\mathbf{i}}_t=\sigma \left({\mathbf{U}}_i\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_i\cdot {\mathbf{x}}_t+{\mathbf{b}}_i\right)\\ {\mathbf{f}}_t=\sigma \left({\mathbf{U}}_f\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_f\cdot {\mathbf{x}}_t+{\mathbf{b}}_f\right)\\ {\mathbf{o}}_t=\sigma \left({\mathbf{U}}_o\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_o\cdot {\mathbf{x}}_t+{\mathbf{b}}_o\right)\\ {\tilde{\mathbf{c}}}_t=\tanh \left({\mathbf{U}}_c\cdot {\mathbf{h}}_{t-1}+{\mathbf{W}}_c\cdot {\mathbf{x}}_t+{\mathbf{b}}_c\right)\\ {\mathbf{c}}_t={\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t+{\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}\\ {\mathbf{h}}_t={\mathbf{o}}_{\mathbf{t}}\odot \tanh \left({\mathbf{c}}_t\right)\end{array}$$
进一步可以简写成：
$$\begin{array}{rl}\left[\begin{array}{c}{\tilde{\mathbf{c}}}_t\\ \\ {\mathbf{o}}_t\\ \\ {\mathbf{i}}_t\\ \\ {\mathbf{f}}_t\end{array}\right]& =\left[\begin{array}{c}\tanh \\ \\ \sigma \\ \\ \sigma \\ \\ \sigma \end{array}\right]\left(\begin{array}{c}\mathbf{W}\left[\begin{array}{c}{\mathbf{x}}_t\\ \\ {\mathbf{h}}_{t-1}\end{array}\right]+\mathbf{b}\end{array}\right),\\ & \\ {\mathbf{c}}_t& ={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t,\\ {\mathbf{h}}_t& ={\mathbf{o}}_t\odot \tanh \left({\mathbf{c}}_t\right),\end{array}$$

公式中有三个“门”，分别为输入门 ${\mathbf{i}}_t$ 、遗忘门 ${\mathbf{f}}_t$ 和输出门 ${\mathbf{o}}_t$ 。这三个门的作用为

• 遗忘门 $f_t$ 控制上一个时刻的内部状态 ${\mathbf{c}}_t-1$ 需要遗忘多少信息。
• 输入门 ${\mathbf{i}}_t$ 控制当前时刻的候选状态 ${\tilde{\mathbf{c}}}_t$ 有多少信息需要保存。
• 输出门 ${\mathbf{o}}_t$ 控制当前时刻的内部状态 ${\mathbf{c}}_t$ 有多少信息需要输出给外部状态 ${\mathbf{h}}_t.$

具体的可点击查看如下视频，很清晰易懂：

【【官方双语】LSTM（长短期记忆神经网络）最简单清晰的解释来了！】 https://www.bilibili.com/video/BV1zD421N7nA/?share_source=copy_web&vd_source=199a3f4e3a9db6061e1523e94505165a

2、LSTM如何缓解梯度消失与梯度爆炸？

LSTM的细胞状态更新机制（下图黄色部分）可以有效地存储长期的信息：

其更新公式如下：
$$C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t$$

由于这一过程本质是线性操作（加权求和），相当于是所有候选路径的线性组合，故不会因为一个路径上梯度的消失，而导致整体梯度不断衰减。LSTM的细胞状态经过门控机制（通过或阻断，即 1 或 0）控制这个线性组合，达到缓解梯度消失的效果；而门控机制又可以通过调节输入输出，通过灵活地舍弃一些部分，来缓解梯度爆炸问题。

简言之，由于此线性组合会通过门控机制自主的调节，而非 RNN 那样直接连乘，因此可以达到减缓梯度消失和梯度爆炸的效果，并实现对信息的过滤，从而达到对长期记忆的保存与控制。

三、GRU

门控循环单元（GRU） 是对 LSTM 进行简化得到的模型。对于 LSTM 与 GRU 而言，它们效果相当，但由于 GRU 参数更少，所以 GRU 的收敛速度更快，计算效率更高。

与LSTM相比，GRU 仅有两个门——更新门（update gate）和重置门（reset gate），不使用记忆元。重置门有助于捕获序列中的短期依赖关系，更新门有助于捕获序列中的长期依赖关系，详细结构如下图：

四、参考文献