深度学习——循环神经网络RNN知识点小结(全)

前置知识:

              序列模型--输出/输入中包含有序列数据的模型

                     特点:

                            1.输入/输出元素之间具有顺序关系, 不同顺序得到的结果不同

                            2.输入输出不定长, 比如问答系统, 聊天机器人

DL--RNN

       小名:循环神经网络

       外国小名: sequence model

       定义:

              专门设计用来处理序列数据的神经网络

       应用:

              1.自然语言处理--NLP,例如

                     1.文本生成

                     2.机器翻译

                     3.情感分析

                     4.命名实体识别

                     5.问答系统

              2.语音处理,例如

                     1.语音识别

                     2.语音合成

                     3.语音增强

              3.时间序列预测, 例如

                     1.股价预测

                     2.天气预报

       RNN作用原理:

        RNN常见结构:

              1.多输入,单输出--情感识别

              2.单输入,多输出--序列数据生成器

              3.多输入,多输出--语言翻译

       RNN缺陷:

              前部序列传递到后部的时候, 信息权重下降, 导致重要信息丢失

              转化成数学问题就是: 在求解过程中, 在反推的时候, 梯度越来越小, 直到无法求解

       LSTM--长短期记忆网络:

              优点:解决前部信息在传递过程中出现的距离越远, 信息丢失越多的问题

              原理:

                     增加记忆细胞, 用它来保留前部重要信息传递到后部, 详情如图    

       BRNN:双向循环神经网络

              特点:进行判断时, 也考虑后部信息

       DRNN:深层循环神经网络

              特点: 为了解决更复杂的序列模型, 可以把单层RNN记性叠加, 或者在输出前与普通mlp结合使用