遗传算法与深度学习实战（22）——使用Numpy构建神经网络
遗传算法与深度学习实战（22）——使用Numpy构建神经网络
-
- 0. 前言
- 1. 神经网络基础
-
- 1.1 简单神经网络的架构
- 1.2 神经网络的训练
- 2. 使用 Numpy 构建神经网络
-
- 2.1 网络架构
- 2.2 实现神经网络
- 小结
- 系列链接
0. 前言
我们已经学习了如何使用进化算法来优化深度学习网络中的超参数，与简单的随机或网格搜索算法相比，使用进化算法可以改善对超参数的搜索。多种进化算法的变体，如粒子群优化、进化策略和差分进化，可以用于搜索和优化超参数。神经进化涵盖了所有用于改进深度学习的进化算法，在本节中，我们使用 NumPy 构建一个简单的多层感知器 (multi-layer perceptron, MLP) 作为神经进化的基础。
1. 神经网络基础
1.1 简单神经网络的架构
人工神经网络受到人脑运作方式的启发。从本质上讲，它是对线性回归和逻辑回归的一种改进，神经网络在计算输出时引入了多种非线性函数。此外，神经网络在修改网络体系结构以利用结构化和非结构化数据跨多个域解决问题方面具有极大的灵活性。函数越复杂，网络对于输入的数据拟合能力就越大，因此预测的准确性就越高。神经网络的典型结构如下：