深入浅出神经网络-学习小结
神经网络识别手写数字
基础知识
如何理解感知机 激活函数是阶跃函数的神经元
sigmoid作用 阶跃函数的升级，平滑了阶跃函数，阶跃函数不容易稳定，sigmoid克服了此缺点
多层感知机 可以理解为多层sigmoid激活函数神经元连接的网络
前馈神经网络 指上个神经元输出会作为下个神经元输入的网络。意味着神经网络中没有环路
循环神经网络 带环路的神经网络。rnn应用面和fnn应用面都很广，fnn更广一些
梯度下降 一种最小化损失函数的方法。对于复杂情况，难以通过导数运算计算损失函数最小值。此时想象一个山谷，找到最低谷底，通过多次采样本计算最终值，每次步进一点，按一定步进方法寻找最终结果
随机梯度下降 先选取少量样本估算梯度，估算的梯度可以加速梯度下降