当前位置：首页 > article >正文

深入浅出深度学习中的BatchSize

article 2025/2/27 19:43:55

Batch Size 决定了模型每次更新参数时使用的样本数量。直接影响以下方面：

梯度计算的准确性：
- 大 Batch 的梯度是多个样本的平均，更接近“真实梯度”（整个数据集的梯度方向）。
- 小 Batch 的梯度噪声更大，但可能带来正则化效果，防止过拟合。
硬件资源利用率：
- GPU 的并行计算能力在大 Batch 下更高效。
- 但 Batch 过大会导致显存不足（OOM），需权衡资源。
收敛速度和稳定性：
- 大 Batch 单步更新更准，但可能收敛到“尖锐”最小值（泛化差）。
- 小 Batch 更新频繁，收敛路径更“抖动”，但可能找到“平坦”最小值（泛化好）。

假设总样本数为 ( N )，Batch Size 为 ( B )，损失函数为 ( L )。

$\theta_{t+1} = \theta_t - \eta \cdot \frac{1}{N} \sum_{i=1}^{N} \nabla L_i(\theta_t)$

梯度无噪声，但计算成本高。

$\theta_{t+1} = \theta_t - \eta \cdot \frac{1}{B} \sum_{i=1}^B \nabla L_i(\theta_t)$

梯度是真实梯度的有偏估计，噪声方差与 $\frac{1}{B} )$ 成正比。

小 Batch（B=32）：
- 噪声大 → 参数更新方向波动大 → 可能跳出局部最优。
- 类似“随机探索”，适合复杂任务（如小数据集、高噪声数据）。
大 Batch（B=1024）：
- 噪声小 → 更新方向稳定 → 快速收敛，但易陷入局部最优。
- 类似“精确制导”，适合大数据集、分布式训练。

$\text{最大 Batch Size} = \frac{\text{可用显存} - \text{模型占用的显存}}{\text{单个样本的显存占用}}$

例如：GPU 显存 24GB，模型占用 4GB，每个样本占 0.2GB → 最大 Batch Size ≈ ( (24-4)/0.2 = 100 )。
技巧：
- 使用梯度累积（Gradient Accumulation）：小 Batch 多次前向传播后累积梯度，再更新参数。
  例如：目标 Batch Size=64，实际 GPU 只能支持 16 → 累积 4 次梯度再更新。

线性缩放规则（Linear Scaling Rule）：
- 当 Batch Size 乘以 ( k )，学习率也应乘以 ( k )。
- 理论依据：大 Batch 的梯度方差减小 ( k ) 倍，需增大学习率以保持更新步长一致。
- 例如：原 Batch Size=64，学习率=0.1 → Batch Size=256 时，学习率≈0.4。
注意事项：
- 学习率不能无限放大！实际中需结合热身（Warmup）策略，逐步增加学习率。

图像分类（ImageNet）：
- 常用 Batch Size=256 或 512（需多 GPU 并行）。
- 小模型（如 MobileNet）可降低到 64~128。
目标检测/分割（COCO）：
- Batch Size=2~16（因高分辨率图像显存占用大）。
- 例如 Mask R-CNN 通常用 Batch Size=2~8。
自然语言处理（BERT）：
- Batch Size=32~512，结合梯度累积。
- 大 Batch（如 8192）需特殊优化（如 LAMB 优化器）。

大 Batch 的泛化困境：
- 实验表明，大 Batch 训练容易收敛到“尖锐”最小值，测试集表现较差。
- 解决方法：
  - 增加数据增强（Data Augmentation）。
  - 使用随机权重平均（SWA, Stochastic Weight Averaging）。
  - 引入显式正则化（如 Label Smoothing）。
小 Batch 的隐式正则化：
- 梯度噪声相当于对参数施加随机扰动，类似 Dropout 的效果。

BN 对 Batch Size 的依赖：
- BN 通过当前 Batch 的均值和方差做归一化。
- Batch Size 过小 → 统计量估计不准 → 训练不稳定。
- 建议：Batch Size ≥ 32 时使用 BN；若 Batch Size 过小，可改用 Group Normalization 或 Layer Normalization。

数据并行（Data Parallelism）：
- 每个 GPU 处理子 Batch，最终同步梯度。
- 全局 Batch Size = 单卡 Batch Size × GPU 数量。
- 例如：4 块 GPU，每卡 Batch Size=64 → 全局 Batch Size=256。
极端大 Batch 训练：
- 如 Google 的 1.5M Batch Size 训练 ResNet：
  - 需配合 LARS（Layer-wise Adaptive Rate Scaling）优化器。
  - 学习率根据每层权重的范数自适应调整。

训练损失曲线：
- 小 Batch：损失下降波动大，但整体趋势向下。
- 大 Batch：损失平滑下降，但可能停滞早。
验证集表现：
- 若训练集损失下降但验证集不降 → 可能过拟合（需减小 Batch Size 或增强数据）。
- 若两者均不降 → 可能模型容量不足或标注错误。

假设你在训练 U-Net 做医学图像分割：

硬件条件：单卡 12GB 显存，输入尺寸 256x256。
估算 Batch Size：
- 模型本身占用 3GB，剩余 9GB。
- 每张图显存占用约 0.5GB → 最大 Batch Size≈18 → 选择 16（2 的幂数）。
训练效果：
- 发现验证集 IoU 波动大 → 可能 Batch Size 过小，梯度噪声大。
- 尝试梯度累积：累积 4 步（等效 Batch Size=64），学习率调整为 4 倍。
结果：
- 损失曲线更平滑，IoU 提升 5%。