深度学习中的步数指的是什么
Lora微调的截图如下:
在深度学习中,步数(steps) 是指模型参数更新的次数。每次参数更新通常对应一个或多个批次的梯度计算和优化器更新。以下是计算总步数的方法以及步数的具体含义:
1. 步数的计算公式
总步数(Total Optimization Steps)可以通过以下公式计算:
[
\text{Total Steps} = \frac{\text{Num Examples} \times \text{Num Epochs}}{\text{Total Batch Size}}
]
其中:
- Num Examples:训练数据集中的样本总数。
- Num Epochs:训练的总轮数。
- Total Batch Size:考虑梯度累积后的总批次大小。
在你的日志中:
- Num Examples = 170