【漫话机器学习系列】064.梯度下降小口诀（Gradient Descent rule of thume）
梯度下降小口诀
为了帮助记忆梯度下降的核心原理和关键注意事项，可以用以下简单口诀来总结：
1. 基本原理
- 损失递减，梯度为引：目标是让损失函数减少，依靠梯度指引方向。
- 负梯度，反向最短：沿着负梯度方向走是最快的下降路径。
2. 学习率选择
- 学习率，大不过天：学习率不能过大，否则容易跳过最优解。
- 学习率，小不能挪：学习率太小，会导致收敛速度太慢。
3. 防止问题
- 梯度消失，用 ReLU：为了解决梯度消失问题，可以使用合适的激活函数（如 ReLU）。
- 梯度爆炸，加归一：梯度爆炸时，可通过梯度裁剪或归一化处理。
4. 优化策略
- 批量小，收敛快：小批量（Mini-Batch）训练可以加速收敛。
- 动量法，加速度：动量优化能加速梯度下降并减少震荡。
- Adam 优，快又稳：使用 Adam 优化器，适应性强，收敛效果好。
5. 实践检查
- 损失降，效果见：实时监控损失值，确保其逐步下降。
- 迭代停，早收敛：引入提前停止机制，避免过拟合。
口诀示例
“梯度为引，反向最短，步步递减到低谷；步长调好，归一保稳，优化选择稳又快。”
通过掌握这些口诀，能帮助开发者更好地理解梯度下降的工作原理并有效避免常见问题。