【RNN】循环神经网络RNN学习笔记
时间序列任务场景：
- 语音识别
- 生成一段音乐
- 情感分析
- DNA序列分析
- 机器翻译
如何理解时间序列：特点：前后关联强，前因后果，后面产生的结果依赖于之前的结果
标准神经网络建模的弊端：
- 输入和输出在不同例子中可能有不同的长度
- 一个像这样单纯的神经网络结构，并不共享从文本不同位置上学习到的特征
- 参数量巨大（输入的网络特征往往是one hot 或者embedding向量，维度巨大）
- 没有办法体现出时序上的前因后果
RNN神经网络：
网络结构：
RNN特点：
RNN前向传播公式：
损失函数：
整个时间序列损失函数可以理解为单个时间步损失函数相加
反向传播：
单个单元梯度公式：
RNN缺点：
RNN梯度爆炸与梯度消失：
根据公式来看，梯度消失的原因并不是中间的连乘项，而是WS，当WS很小的时候会出现梯度消失情况，当大于一值较大的时候会出现梯度爆炸的情况。WS是需要训练的参数，我们并不能控制。
RNN可以通过梯度裁剪的方式解决梯度爆炸的问题，但是无法解决梯度消失问题。
假设T=20时候：
为什么需要RNN？
之前的网络只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。
比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。
第一个状态初始化方法
- 随机初始化
- 全零初始化
- 可学习状态初始化
本文参考：https://www.bilibili.com/video/BV1e5411K7oW/?spm_id_from=333.999.0.0&vd_source=cf0b4c9c919d381324e8f3466e714d7a