GPT、GPT-2、GPT-3论文精读笔记
视频：GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili
MAE论文：把bert用回计算机视觉领域
CLIP论文：打通文本和图像
GPT
论文：Improving Language Understanding by Generative Pre-Training
半监督学习：使用没有标号的文本进行预训练一个语言模型，用有标号的数据训练一个微调模型
Bert是Transformer的encoder（既能用前面 也能用后面特征），GPT是Transformer的decoder部分（带掩码的注意力机制，因为任务是预测下一个词，只能用来自前面的特征）
Bert是带掩码的语言模型，完形填空（挖掉中间的词 用上下文来预测该词）
无标号数据上做预训练
目标函数1：
给定 k 个词 预测下一个词，如何预测：
和Bert的区别不只是编码器解码器，更主要的区别是目标函数的选取，GPT的目标函数更难
有标号数据上做微调
标准的分类目标函数2：
将语言模型作为微调的辅助，得到的目标函数：
接下来考虑怎么把NLP中很多不一样的子任务表示成序列+标号的形式，调整数据而不调整模型，预训练好Transformer模型后 在做下游任务时候不需要改变模型结构（GPT跟以往相比的特点）
实验部分
12层Transformer的decoder 每层维度768（跟bert-base一样）
在预训练语言模型时是在自然文本上训练，但在下游任务时对其输入进行了构造（开始 结束 分隔符）
GPT-2
论文：Language Models are Unsupervised Multitask Learners
改进对每一个下游任务都需要微调（在每一个任务上还要提供部分样本用于训练）的缺点，好处是训练一个模型 在任何地方都能用
zero-shot
做到下游任务时，不需要任何标注信息，也不需要训练模型，使用 prompt
采样策略
预测出下一个词的概率，不一定选择概率最大的 可能希望具有多样性
参数 Temperature、Top k、Top p
Temperature = 1：不变，softmax 选出概率最大的数
Temperature越大，越多样
Top k：采样前k个词
Top p：累加概率 达到该概率就停止采样，一般95%
GPT-3
论文：Language Models are Few-Shot Learners
在做下游任务时不做任何梯度更新
核心的下游任务方式：
- Zero-shot
- One-shot：给出一个参考的问题和回答，要GPT根据给出的参考回答一个新问题
- Few-shot