大模型-模型预训练-训练过程优化配置
一、简介
1、目的
提升训练过程稳定性、效率、效果等
2、配置项
- 批次大小
- 学习率
- 优化器
- 稳定优化
二、批次大小配置
1、常规做法-配置固定大小
配置较大的批次大小，例如1M到4M个词元，从而提升训练稳定性和吞吐量
2、最新方案-动态批次调整
- 方案介绍：动态批次调整，逐渐增大，最终达M级别，比如GPT-3从32K增大到3.2M
- 优点：动态调整可以有效稳定大模型训练过程，早起较小批次可以提升反向传播的频率，让模型损失尽快下降，后期较大批次可以让损失下降更加稳定，使模型更好收敛
三、学习率
1、组成
- 预热阶段，占0.1%到0.5%
- 衰减阶段
2、特点
- 大部分大模型做法类似，包含预热阶段和衰减阶段
- 预热阶段占整体训练过程的0.1%到0.5%
- 模型在学习率较大时可以加快收敛速度
- 学习率一般会衰减到最大阈值的10%
3、线性预热策略
从一个非常小的数值线性平稳增加，达到预设最大值
4、常见衰减策略
- 线性衰减
- 余弦衰减
- 平方根倒数衰减
三、优化器
1、常见优化器
- Adam
- AdamW
2、Adam
使用梯度的“动量”作为参数的更新方向，它使用历史更新步骤中的梯度加权平均值，来代替当前时刻的梯度，从而缓解样本随机性带来的损失震荡。Adam使用自适应的学习率方法，通过梯度的加权“三阶矩”对梯度进行修正，从而防止梯度过小导致模型难以优化，Adam在优化中引入了三个超参数，β1=0.9, β2=0.95, ε=10
3、Adafactor（Adam变种）
- 简介：通过引入特殊设计，使得训练过程中更加节省显存
- 代表模型：PaLM和T5
四、稳定优化技术
1、梯度裁剪
把梯度限制在一个较小的区间内，当梯度的模长超过给定的阈值之后，便按照这个阈值进行截断，这个阈值通常是1.0
2、训练恢复
每隔固定步数会设置一个模型存档点，当模型发生了训练异常时，可以恢复
3、权重衰减
使用正则化技术来稳定训练过程，提高模型泛化能力，AdamW采用了权重衰减，每次更新模型参数时引入衰减系数，这个系统通常为0.1
4、Dropout
在训练中随机将一些神经元的输出值置零来避免过拟合，大模型训练过程中由于有大规模数据，且模型中存在归一化结构，该方式目前在大模型训练中使用较少