【机器学习】18. 反向传播 Backpropagation algorithm, 学习率，动量Momenetum, Xavier，梯度消失

1. 定义

对于每一个训练样本传入网络, 直到输出层, 这个过程称为正向传播, 将其输出与标签进行比较, 计算误差, 根据误差, 从输出层到输入层逐级反向传播, 调整每个神经元的权重, 以减小误差, 这个过程就是反向传播.

2. 权重更新公式

$$w_{pq}^{new}=w_{pq}^{old}+\Delta w_{pq}$$

3. 梯度下降更新权重

$$\Delta w=\eta \cdot {\delta }_q\cdot o_p$$

1. 若q是输出层的神经元, 则
   $${\delta }_q=(t_q-o_q)f^{\prime }(z_q)$$
   $$f’(x)=f(x)\cdot (1-f(x))[sigmoid]$$
   2.若q是隐藏层的神经元，则
   $${\delta }_q=f^{\prime }(z_q)\sum _i{w}_{qi}{\delta }_i$$
   i是q后面的神经元,p->q->i

4. 反向传播数学计算理解

transfer function

学习率η=0.9

1. 首先前向传播得到结果
   $$z_4=1\ast 0.2+0\ast 0.4+1\ast (-0.5)-0.4=-0.7$$ $$o_4=1/(1+e^{-x})=1/(1+e^{0.7})=0.332$$
   $$z_5=1\ast (-0.3)+0\ast 0.1+1\ast 0.2+0.2=0.1$$ $$o_5=1/(1+e^{-x})=1/(1+e^{-0.1})=0.525$$
   $$z_6=0.332\ast (-0.3)+0.525\ast (-0.2)+0.1=-0.0996-0.105+0.1=-0.1046$$ $$o_6=1/(1+e^{-x})=1/(1+e^{0.105})=0.474$$
2. 接下来反向传播更新权重
   $${\delta }_6=(t_6-o_6)f^{\prime }(z_6)=(t_6-o_6)f(z_6)(1-f(z_6))=(1-0.474)\ast 0.474\ast (1-0.474)=0.1311$$
   $$\Delta w_{46}=\eta \ast {\delta }_6\ast o4$$
   $$w_{46}(new)=w_{46}(old)+\Delta w_{46}$$
   $$b_6(new)=b_6(old)+\Delta b_6$$

5. 结构来带的问题

太多隐藏层会过拟合，太少会欠拟合

6. 介绍训练例子

1. 对于每个epoch，选择排列好的训练例子。
2. 多展示误差较大的例子，少展示误差较小的例子
3. 不是一个一个地展示这些例子，而是以N个例子为批次，总结它们各自的错误，并在每批（min-batch）后更新

7. 学习率

学习率可以是固定的, 也可以随时间变化.

8. 动量 Momentum

动量, momentum, 通过在权重更新公式中引入一个额外的动量项, 使得当前的权重更新依赖于之前的更新, 从而减少振荡并允许使用更大的学习率

9. 权重初始化

• 标准的做法: 从-1到1之间选择小的随机数
• Xavier： 权重从一个正态分布中产生
  $$\sigma =\sqrt{\frac{2}{N_{in}+N_{out}}}$$
  in 和 out 分别是当前层输入神经元数量和输出神经元数量。

10. 算法的进步

• 克服消失梯度问题
• Dropout以避免过拟合
• 新的初始化方法：使用自动编码器进行预训练
• 卷积和共享权重

11. 梯度消失问题

o非常小导致δ非常小，权重更新也非常小

• 特别是如果有许多隐藏层-递减梯度，收敛缓慢
• 即使输出层的激活不饱和，当我们将梯度从输出层反向传播到隐藏层时进行的重复乘法也可能导致梯度递减
• 输出到隐藏层可能会导致梯度递减
• 消失的梯度问题：权重变化为较低的水平都很小；这些层的学习速度比更高的隐藏层要慢
• 这一直是训练深度神经网络的一个主要问题

解决方法：使用其他激活功能（LReLu）