RNN的反向传播
目录
1.RNN网络：通过时间反向传播(through time back propagate TTBP)
2.RNN梯度分析
2.1隐藏状态和输出
2.2正向传播：
2.3反向传播：
2.4问题瓶颈：
3.截断时间步分类：
4.截断策略比较
5.反向传播的细节
编辑编辑编辑
6.结论
1.RNN网络：通过时间反向传播(through time back propagate TTBP)
- 1.RNN计算梯度：链式法则计算梯度
- 2.计算瓶颈：长链路带来的不确定性
2.RNN梯度分析
2.1隐藏状态和输出
2.2正向传播： 
2.3反向传播：
2.4问题瓶颈：
蝴蝶效应，泛化性能差
3.截断时间步分类：
常规截断、随机截断
4.截断策略比较
5.反向传播的细节
6.结论
记住结论: RNN网络的反向传播比较复杂, 容易发生梯度消失和梯度爆炸.
从而引出梯度释放和梯度截断 ——>解决梯度爆炸问题