【学习笔记】GPT系列模型演变过程
GPT-1
基于Transformer的decoder-only架构
参数量只有0.1B，缺少通用的解决问题的能力，需要针对特定任务微调
GPT-2
参数规模扩大到了1.5B
与 GPT-1 不同,GPT-2 旨在探索通过扩 大模型参数规模来提升模型性能,并且尝试去除针对特定任务所需要的微调环节
GPT-3
GPT-2尝试成为”无监督多任务学习器“，但是效果不算优越。GPT-3通过大幅扩展参数规模，达到了175B，并且涌现了上下文学习能力，验证了Scaling-Law的潜力。
其后续改进中加入了代码数据训练与RLHF
GPT-4
参数规模大幅度提升，同时开始支持多模态
o系列
主打推理模型
引入长思维链，推理能力大幅度提升