NLP轻松入门—RNN
Simple RNNs 原理介绍
比如输入一段话“11月2日到达北京从深圳来”，我们希望将“北京”设为目的地，“深圳”设为出发地，我们需要则个网络有记忆和联想功能。
前向运算
输入数据需要能否表达成一个时间序列，必须有一个关于序列的输入，每个输入送到layer中会得到一个状态值和一个输出值，且将当前的结果往后传递在下一个节点上进行运算，经过多层网络计算（layer+1.....n），公式如下：
反向运算
拿到损失后逐层传递，采用链式法则进行梯度求解；仅适合短序列学习，否则容易出现梯度消失和梯度爆炸的情况；