【机器学习基础】Transformer学习
Transformer学习
- 梯度消失
- FeedForward层
激活函数的主要作用是在网络中加入非线性变换
梯度消失
梯度爆炸
FeedForward层
Transformer结构：
Transformer结构主要分为两大部分：
- 一是Encoder层结构：Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，然后又做了一个ADD&Norm，再通过Feed Forward进行输出
- 另一个则是Decoder层结构
FeedForward的输入:是Multi-Head Attention的输出做了残差连接和Norm之后得数据，然后FeedForward做了两次线性线性变换，为的是更加深入的提取特征。
它由两个线性变换组成，中间有一个 ReLU 激活
在Multi-Head Attention中，主要是进行矩阵乘法，即都是线性变换，而线性变换的学习能力不如非线性变换的学习能力强，FeedForward的计算公式如下：max相当于Relu