DeepLearning：卷积神经网络基础补充
卷积神经网络基础补充：
文章目录
- 误差的计算
- 例子
- 交叉熵损失
- 损失公式
- 误差反向传播（链式求导）
- 权重的更新
- 优化器（optimazer）
- SDG优化器（Stochastic Gradient Descent）
- SGD+Momentum优化器
- Adagrad优化器（自适应学习率）
- RMSProp优化器（自适应学习率）
- Adam优化器（自适应学习率）
- 几个优化器的比较
- 几个优化器的比较
误差的计算
例子
经过softmax处理后所有输出节点概率和为1（归一化）
交叉熵损失
损失公式
误差反向传播（链式求导）
权重的更新
在实际应用中往往不可能一次性将所有数据载入内存（算力也不够），所以只能分批次（batch）训练。
ps：ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像被ImageNet手动注释，以指示图片中的对象。
-
若使用整个样本集进行求解损失梯度指向全局最优方向
-
若使用分批次样本进行求解，损失梯度指向当前批次最优方向，训练过程更不平稳
优化器（optimazer）
作用：使网络得到更快的收敛
缺点：易受样本噪声影响（有些数据标注错误），可能陷入局部最优解（按batch分批次）
St是不断累计的损失梯度的平方和，初始化为0
几个优化器的比较
几个优化器的比较
Adam效果比较好，一些论文里面常用的还是SGD，根据具体情况选择