基于 RNN 的语言模型

基于 RNN 的语言模型

循环神经网络（Recurrent Neural Network, RNN）是一类网络连接中包含环路的
神经网络的总称。
给定一个序列，RNN 的环路用于将历史状态叠加到当前状态上。沿着时间维度，历史状态被循环累积，并作为预测未来状态的依据。RNN 可以基于历史规律，对未来进行预测。
基于 RNN 的语言模型，以词序列作为输入，基于被循环编码的上文和当前词来预测下一个词出现的概率。

循环神经网络 RNN

按照推理过程中信号流转的方向，神经网络的正向传播范式可分为两大类：前馈传播范式和循环传播范式。
采用前馈传播范式的神经网络可以统称为前馈神经网络（Feed-forward Neural Network，FNN），
而采用循环传播范式的神经网络被统称为循环神经网络（Recurrent Neural Network, RNN）

前馈神经网络（FNN）

• 计算是逐层向前的，没有反馈连接。
• 输出仅依赖于当前输入，不考虑历史信息

计算公式

1. 输入层：

   • 假设输入向量为$\mathbf{x}=[x_1,x_2,...,x_n]$。

2. 隐藏层（如果有多个隐藏层，这个过程会重复）：

   • 每个神经元的加权输入计算为$z=w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b$，其中$w_i$是权重，$b$是偏置项。
   • 激活函数$g(z)$被应用于加权输入，以产生神经元的输出。常见的激活函数包括 Sigmoid、Tanh、ReLU 等。
   • 因此，隐藏层的输出$h$可以表示为$h=g(z)=g(w_1{x}_1+w_2{x}_2+...+w_n{x}_n+b)$。

3. 输出层：

   • 输出层的计算与隐藏层类似，但是输出层的输出通常不经过非线性激活函数（如果是分类问题，最后一层可能使用 Softmax 函数）。
   • 输出$\mathbf{o}$可以表示为$\mathbf{o}=f(Vh+b)$，其中$V$是从隐藏层到输出层的权重矩阵，$h$是隐藏层的输出向量，$b$是输出层的偏置项，$f$是输出层的激活函数（对于回归问题，$f$可以是恒等函数）。

以一个具体的数学表达式来表示一个简单的FNN模型的前向传播过程：

假设有一个输入向量$\mathbf{x}$，一个隐藏层，其权重矩阵为$\mathbf{W}$，偏置向量为$\mathbf{b}$，激活函数为$g$，以及一个输出层，其权重矩阵为$\mathbf{V}$，偏置向量为${\mathbf{b}}^{\prime }$，输出层激活函数为$f$

1. 计算隐藏层的加权输入和输出：
   $\mathbf{z}=\mathbf{Wx}+\mathbf{b}$
   $\mathbf{h}=g(\mathbf{z})$
2. 计算输出层的加权输入和输出：
   $\mathbf{o}=\mathbf{Vh}+{\mathbf{b}}^{\prime }$
   $\mathbf{y}=f(\mathbf{o})$
   其中，$\mathbf{y}$是网络的最终输出。这个过程是逐层向前的，每一层的输出仅依赖于当前层的输入和权重，而不依赖于网络中其他层的历史信息。

循环神经网络（RNN）

RNN 的工作方式：

• 输入序列被逐个元素地串行输入。具有循环连接，可以将之前的状态信息传递到后续的计算中。
• 每个时间步的隐状态是前一个隐状态和当前输入的函数。输出不仅依赖于当前输入，还依赖于之前的所有输入，因为它们被编码在隐状态中。
• 输出是当前隐状态的函数。

基本计算公式：

1. 隐藏状态更新公式：
   $h_t=f(W_{hh}{h}_{t-1}+W_{xh}{x}_t+b_h)$

   • $h_t$是时间步 $t$的隐藏状态。
   • $h_{t-1}$是时间步 $t-1$的隐藏状态。
   • $x_t$是时间步 $t$的输入。
   • $W_{hh}$是隐藏状态到隐藏状态的权重矩阵。
   • $W_{xh}$是输入到隐藏状态的权重矩阵。
   • $b_h$是隐藏状态的偏置项。
   • $f$是激活函数，常用的激活函数包括tanh、ReLU等。

2. 输出计算公式：
   $y_t=g(W_{hy}{h}_t+b_y)$

   • $y_t$是时间步 $t$的输出。
   • $W_{hy}$是隐藏状态到输出的权重矩阵。
   • $b_y$是输出的偏置项。
   • $g$是输出层的激活函数，对于分类问题可能是softmax函数，对于回归问题可能是线性函数。

梯度衰减

问题描述：
在RNN中，梯度需要通过时间反向传播，每一步的梯度计算都会涉及到前一步的权重。如果权重的导数（梯度）是小于1的正数，那么随着时间步的增加，梯度会指数级减少。这意味着对于较早时间步的输入，网络很难学习到它们对最终输出的影响。

解决方案：

1. 使用ReLU激活函数：相比于tanh或sigmoid，ReLU激活函数可以减轻梯度衰减问题，因为它的导数在正区间内是常数。
2. 权重初始化：使用如Glorot初始化（Xavier初始化）或He初始化等方法，可以更好地控制梯度的大小。
3. 梯度裁剪（Gradient Clipping）：通过限制梯度的大小来防止梯度爆炸，间接缓解梯度衰减。
4. 使用LSTM或GRU：这两种RNN的变体通过引入门控机制来减少梯度衰减的影响。

梯度爆炸

问题描述：
与梯度衰减相反，梯度爆炸是指在反向传播过程中，梯度值随着时间步的增加而变得非常大，导致权重更新过大，从而使学习过程变得不稳定。

解决方案：

1. 梯度裁剪：在每次更新前，将梯度限制在一个合理的范围内，以防止梯度爆炸。
2. 使用LSTM或GRU：这两种结构通过门控机制来控制信息流，从而减少梯度爆炸的风险。
3. 正则化：如L1、L2正则化，可以限制权重的大小，间接控制梯度的大小。
4. 使用批量归一化（Batch Normalization）：在RNN中应用批量归一化可以帮助稳定梯度。

其他注意事项

• 截断反向传播（Truncated Backpropagation Through Time, TBPTT）：这种方法不是在整个序列上进行反向传播，而是在序列的一个小片段上进行，可以减少计算量并减轻梯度问题。
• 调整学习率：使用自适应学习率算法，如Adam，可以帮助更好地控制学习过程。

基于循环神经网络（RNN）的语言模型

基于循环神经网络（RNN）的语言模型是一种序列生成模型，它能够根据当前词和之前的隐藏状态来预测下一个词的概率。

1. 条件概率：

   • 给定词序列 { w 1 , w 2 , … , w N } \{w_1, w_2, \ldots, w_N\} {w1​,w2​,…,wN​}，RNN语言模型预测下一个词 $w_{i+1}$ 出现的条件概率是 $P(w_{i+1}|w_1:i)=P(w_{i+1}|w_i,h_{i-1})$。

2. 序列的整体概率：

   • 整个词序列 { w 1 , w 2 , … , w N } \{w_1, w_2, \ldots, w_N\} {w1​,w2​,…,wN​} 出现的概率可以表示为：
     $P(w_1:N)={\prod }_{i=1}^{N-1}P(w_{i+1}|w_i,h_{i-1})$

3. 输出向量：

   • RNN的输出是一个向量，其中每一维代表词典中对应词的概率。如果词典 $D$ 中有 $|D|$ 个词，那么输出向量 $o_i$ 可以表示为：
     o i = { o i [ w ^ d ] } d = 1 ∣ D ∣ o_i = \{ o_i[\hat{w}^d] \}_{d=1}^{|D|} oi​={oi​[w^d]}d=1∣D∣​
   • 其中，$o_i[{\hat{w}}^d]$ 表示词典中的词 ${\hat{w}}^d$ 出现的概率。

4. 序列的整体概率计算：

   • 利用输出向量，整个序列的概率可以表示为：
     $P(w_1:N)={\prod }_{i=1}^N{o}_i[w_{i+1}]$
   • 这里$o_i[w_{i+1}]$ 是在第$i$ 步输出中，词$w_{i+1}$ 的概率。

损失函数和训练

1. 交叉熵损失：

   • 使用交叉熵损失函数来衡量模型预测的概率分布与真实词的概率分布之间的差异：
     $l_{CE}(o_i)=-{\sum }_{d=1}^{|D|}I({\hat{w}}_d=w_{i+1})\log o_i[{\hat{w}}_d]$
   • 其中$I(\cdot )$ 是指示函数，当${\hat{w}}_d=w_{i+1}$ 时为1，否则为0。

2. 总损失：

   • 训练集$S$ 的总损失是所有样本损失的平均值：
     $L(S,W_I,W_H,W_O)=\frac{1}{|S|}{\sum }_{s=1}^{|S|}{\sum }_{i=1}^N{l}_{CE}(o_{i,s})$
   • 这里$o_{i,s}$ 是第$s$ 个样本在第$i$ 步的输出。

文本生成和训练策略

1. 自回归（Autoregressive）：

   • 在文本生成中，模型通过迭代预测下一个词来生成文本。
     (1) 错误级联放大
     选用模型自己生成的词作为输入可能会有错误，这样的错误循环输入，将会不断的放大错误，导致模型不能很好拟合训练集；
     (2) 串行计算效率低
     因为下一个要预测的词依赖上一次的预测，每次预测之间是串行的，难以进行并行加速。

2. Teacher Forcing：

   • 在训练过程中，使用真实的下一个词作为输入，而不是模型预测的词，以提高训练效率和效果。
   • 在 TeacherForcing 中，每轮都仅将输出结果与“标准答案”（Ground Truth）进行拼接作为下一轮的输入。

3. 曝光偏差（Exposure Bias）：

   • 由于训练和推理过程中的差异导致的偏差。
   • Teacher Forcing 的训练方式将导致曝光偏差（Exposure Bias）的问题。
   • 曝光偏差是指 Teacher Forcing 训练模型的过程和模型在推理过程存在差异
   • TeacherForcing 在训练中，模型将依赖于“标准答案”进行下一次的预测，但是在推理预测中，模型“自回归”的产生文本，没有“标准答案”可参考。
     Scheduled Sampling：
     一种减少曝光偏差的方法，通过在训练过程中逐渐引入模型自己生成的词。
     循序渐进的使用一小部分模型自己生成的词代替“标准答案”，在训练过程中对推理中无“标准答案”的情况进行预演。

RNN语言模型通过这些机制来学习序列数据的模式，并能够用于文本生成等任务。然而，由于RNN的循环迭代本质，它在处理长序列时训练较慢，且不易进行并行计算。因此，后续的研究中出现了基于Transformer的模型，它能够更有效地处理这些问题。