卷积神经网络 循环神经网络

卷积神经网络强大之处

多层网络结构能自动学习输入数据的深层特征，不同层次的网络可以学习到不同层次的特征。浅层学习局部特征（物体的颜色，几何形状），深层学习抽象特征（物体属性，轮廓特点，位置信息）

卷积神经网络的结构

输入层、卷积层（提取特征）、下采样层（空间维度下采样）、全连接层、输出层（softmax层，对全连接后的特征向量进行计算，得到分类评分值）

卷积神经网络和人工神经网络的联系

人工神经网络的神经元按照一维进行排列，卷积神经网络每层神经元按照三维排列，每一层有长宽高，长宽代表输入图像矩阵的长度和高度，高代表该层网络的深度

卷积操作

卷积实际是图像处理技术中的滤波操作。不同于滤波操作中滤波器是事先定义好的，卷积神经网络的卷积核内容是通过梯度下降法训练得到的

Padding操作
卷积操作会遇到在图像边界卷积造成信息丢失的问题，Paddin用来解决这一问题
same padding：对图像矩阵进行边界补充（填0值），使得卷积后得到的特征矩阵与输入矩阵大小一致
valid padding：不进行padding操作

卷积神经网络三大核心思想

局部感知、权值共享、下采样技术

局部感知

感知区域实际上是卷积核的空间大小，每个隐层神经元节点只负责连接到图像某个局部区域，大大减少网络中的权值参数

权值共享

假设卷积核A、B有相同的纹理特征，则实际上只要一个卷积核C就可以代替A和B，共i选哪个卷积核C（即共享相同的权值矩阵），减少网络参数

下采样

对图像进行压缩，减少输出的总像素，缩减图像的空间尺寸规模，减少过拟合可能性，减少计算量，进一步提取高维特征

最大池化下采样：选pooling窗口的最大值作为pooling特征
均值池化下采样：取pooling窗口的均值作为pooling特征

网络参数设计规律

输入层矩阵的大小应该可以被2整除多次
卷积核尽量使用小尺寸卷积核（卷积核大导致特征图减小，且难以提取高维特征）
卷积步长不要过大
卷积层中使用same oadding零填充矩阵边界
pooling层一般使用2*2的窗口，步长为2的max pooling操作
全连接层数不宜超过3层。层数越多，训练难度越大，越容易造成过拟合和梯度消散

循环神经网络

循环递归处理历史数据和对历史记忆进行建模，适用于处理时间、空间序列上有强关联的信息。
随着时间变化动态调整自身的网络状态并不断循环传递，具有记忆功能
随着网络规模增大，对序列数据的记忆能力就会逐渐下降。由于循环神经网络模型基本结构过于简单，不能存储长期记忆，当序列信号在网络中多次传递后，可能引起梯度问题，因此提出长短期记忆网络LSTM（Long Short-Term Memory）