- 神经网络（neural networks）的定义：神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。（T. Kohonen 1988年在Neural Networks创刊号上给出的定义）。
- 在机器学习中谈论神经网络时，指的是神经网络学习。
- 神经网络中最基本的成分是神经元（neuron）模型。即上述定义中的简单单元。neuron 也称 unit。
- 生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相邻的神经元发生化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”（threshold），那么它就会激活，即“兴奋”起来向其他神经元发送化学物质。threshold 也叫 bias。
M-P神经元模型
来源于西瓜书-P97
- 在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的总输入值将与这个神经元的阈值进行比较，然后通过“激活函数”（activation function）处理以产生神经元的输出。
- 产生“0”和“1”最好的函数时阶跃函数，但阶跃函数有不连续、不光滑等不太好的性质，实际常用 Sigmoid 函数作为激活函数，它能把较大范围内变化的数值挤压到（0, 1）输出值范围内，因此也被称为“挤压函数”（squashing function）。
感知机模型
来源于西瓜书-P99
- 感知机（Perception）由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。也称“阈值逻辑单元”（threshold logic unit）。
- 感知机可能容易地实现逻辑与、或、非运算。
- 阈值θ可看作一个固定输入为-1.0的“哑节点”（dummy node）所对应的连接权重。
- η∈(0, 1) 称为学习率（learning rate），通常设置为一个小正数。
- 感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元（functional neuron）。
- 事实上，与、或、非问题都是线性可分问题（linearly separable）问题，即存在一个线性超平面能将他们分开，这时感知机的学习过程一定会收敛（converge）而求得适当的权向量。否则感知机的学习过程将会发生振荡（fluctuation）。
- 非线性可分意味着用线性超平面无法划分。
多层网络
来自西瓜书-P101
- 要解决非线性可分问题，需考虑使用多层功能神经元。
- 输入和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer），隐含层和输出层都是拥有激活函数的功能神经元。
- 只需要包含隐层，即可称为多层网络。
- 每层神经元与下一层神经元全连接，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络就通常称为“多层前馈神经网络”（Multi-layer feedforward natural networks）。“前馈”并不意味着网络中的信号不能向后传，而是指网络拓扑结构上不存在环或回路。
- 输入层神经元仅接受输入不进行函数处理，隐层与输出层包含功能神经元。
- 神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”（connection weight）以及每个功能神经元的阈值。也就是说，神经网络学到的东西蕴含在连接权与阈值中。
