seq2seq attention详解

1️⃣ seq2seq介绍

传统的RNN、LSTM和GRU无法处理输入序列和输出序列长度不同的任务。因此提出了seq2seq。

seq2seq是一种基于编码器-解码器架构的深度学习模型，用于将一个变长序列转换为另一个变长序列，常用于机器翻译、文本摘要和语音识别等任务。在2014年被提出

2️⃣ 原理分析

2.1 整体结构

seq2seq也被称为encoder-decoder模型。模型包含两个部分：encoder用于将任意长度的序列编码到一个固定长度的上下文向量$c$中；decoder将$c$解码，得到序列。

seq2seq结构很多，这里主要介绍三种：

第一种：上下文向量$c$作为decoder的输入数据，需要初始化decoder隐层状态

注意：图中的粉色圈I和绿色圈O忽略即可

第二种：上下文向量$c$作为decoder的隐层状态

第三种：上下文向量$c$作为decoder的输入数据，需要初始化decoder隐层状态。Decoder每一个时间步的输出作为下一个时间步的输入

2.2 encoder

上面介绍的三种结构，它们的encoder都是一样的。encoder接受输入$x$，最终输出一个编码所有信息的上下文向量$c$，中间的时间步没有输出

上下文向量$c$的计算方法包括以下几种：
$$\begin{array}{rl}& \mathbf{c}=h_N\\ & \mathbf{c}=g(h_N)\\ & \mathbf{c}=g(h_1::h_N)\end{array}$$
第一种计算方法：上下文向量$c$就是Encoder最后一个时间步的隐藏状态$h_N$
第二种计算方法：增加一个非线性变换函数
第三种计算方法：使用整个序列的隐藏状态 $h_1,h_2,\dots ,h_N$来计算上下文向量$c$。这种是seq2seq常用的方式

2.3 decoder

看第一种decoder，上下文向量$c$作为decoder的输入数据，需要初始化decoder隐层状态$h_0^{\prime }$

$$\begin{gathered} h_i^{\prime }=f(U\cdot c+W\cdot h_{i-1}^{\prime }) \\ {y}_i=g(V\cdot h_i^{\prime }) \end{gathered}$$

第二种decoder，上下文向量$c$作为decoder的隐层状态，各个时间步只接受上一时间步的隐层状态，而没有其他输入。

$$\begin{gathered} h_1^{\prime }=f(W\cdot c) \\ {h}_i^{\prime }=f(W\cdot h_{i-1}^{\prime }) \\ {y}_i=g(V\cdot h_i^{\prime }) \end{gathered}$$

第三种：上下文向量$c$作为decoder的输入数据，Decoder每一个时间步的输出作为下一个时间步的输入。注意这里需要初始化$h_0^{\prime }$和$y_0^{\prime }$

$$\begin{gathered} h_i^{\prime }=f(U\cdot c+V\cdot y_{i-1}^{\prime }+W\cdot h_{i-1}) \\ {y}_i^{\prime }=g(V\cdot h_i^{\prime }) \end{gathered}$$

3️⃣ 使用技巧

3.1 Teacher Forcing

针对上面的第三种模型，每一个时间步的输入包含上一个时间步的输出$y_{i-1}^{\prime }$。如果前一个时间步出错了，那必然会影响后面所有的结果。

因此提出了Teacher Forcing，我们在训练过程中使用ground truth作为时间步的输入，即输入$y_{i-1}^{trut{h}^{\prime }}$

那么Teacher Forcing有什么优点呢？

• 可以减少错误的传播

缺点：

• 因为依赖标签数据，在训练过程中，模型会有较好的效果。但是在测试的时候因为不能得到ground truth的支持，所以如果目前生成的序列在训练过程中有很大不同，模型就会变得脆弱。解决办法：集束搜索(Beam Search)，后续如果有机会，会对集束搜索进行学习

3.2 Attention机制

回想一下seq2seq模型中，encoder是不是总是将任意长度的序列编码到一个固定长度的上下文向量$c$中。然后在decoder解码过程中，上下文向量$c$的长度是不变的，这存在以下弊端：

• 固定长度的上下文向量$c$会丢失许多细节，无法有效表达长序列中的全部信息

假设输入序列为 X N = { x 1 , x 2 , … , x N } X_N=\{x_1,x_2,\ldots,x_N\} XN​={x1​,x2​,…,xN​},输出序列为 Y M = { y 1 ′ , y 2 ′ , … , y M ′ } Y_M=\{y_1^{\prime},y_2^{\prime},\ldots,y_M^{\prime}\} YM​={y1′​,y2′​,…,yM′​}，Attention机制的工作流程为：

1.Encoder生成隐藏状态

Encoder对输入序列 X N = { x 1 , x 2 , … , x N } X_N=\{x_1,x_2,\ldots,x_N\} XN​={x1​,x2​,…,xN​}逐步处理，生成每个时间步的隐藏状态序列$H=$
{ h 1 , h 2 , … , h N } \{h_1,h_2,\ldots,h_N\} {h1​,h2​,…,hN​}，其中$h_i$表示输入$x_i$的隐向量表示。

2.Decoder的初始状态

Decoder的初始隐藏状态记为$h_0^{\prime }$。

3.计算注意力权重 (Attention Scores)

在解码的第$t$步，Decoder 的隐藏状态$h_t^{\prime }$与 Encoder 的每个隐藏状态$h_i$进行对比，计算注意力分数$e_{ti}$ ，常见方法如下：

• 加性注意力：
  $$e_{ti}=v^T\tanh (W_1{h}_i+W_2{s}_t)$$
  其中，$W_1$和$W_2$是可学习的权重参数

• 点积注意力(Dot-Product Attention):

$$e_{ti}=h_t^{\prime T}{h}_i$$

• 缩放点积注意力 (Scaled Dot-Product Attention) :
  $$e_{ti}=\frac{h_t^{\prime T}{h}_i}{\sqrt{d}}$$
  其中$d$是隐藏向量的维度。

4.计算权重分布 (Attention Weights)

使用 Softmax 函数将分数$e_{ti}$转换为归一化的权重${\alpha }_{ti}$:

$${\alpha }_{ti}=\frac{\exp (e_{ti})}{{\sum }_{j=1}^N\exp (e_{tj})}$$

5.生成上下文向量

根据权重${\alpha }_{ti}$对 Encoder 的隐藏状态加权求和，得到上下文向量$c_t:$

$$c_t=\sum _{i=1}^N{\alpha }_{ti}{h}_i$$

6.计算输出
$$\begin{gathered} h_t^{\prime }=f(U\cdot c_t+V\cdot y_{t-1}^{\prime }+W\cdot h_{t-1}^{\prime }) \\ {y}_t^{\prime }=g(V\cdot h_t^{\prime }) \end{gathered}$$
g() 通常是 Softmax，用于生成输出词分布

4️⃣ 总结

• seq2seq中，encoder的隐层状态维度一致；decoder的隐层状态一致；维度就是隐层神经元个数