神经网络 - 神经元
人工神经元(Artificial Neuron)，简称神经元(Neuron)，是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。
生物学家在 20 世纪初就发现了生物神经元的结构。一个生物神经元通常具有多个树突和一条轴突。树突用来接收信息，轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值时，它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他神经元的树突产生连接(突触)，并将电脉冲信号传递 给其他神经元。
一、生物学角度（生物神经元：灵感来源）
-
定义：
神经元是生物神经系统（如大脑）中的基本信息处理单元。它们通过树突接收来自其他神经元的信号，通过轴突传递信号，并在突触处与其他神经元进行化学或电的交流。 -
工作机制：
生物神经元具有以下几个主要部分：- 树突（Dendrites）：接收外部输入信号。
- 细胞体（Soma）：整合输入信号，当总输入超过一定阈值时，触发动作电位。
- 轴突（Axon）：传递产生的电信号到下一个神经元。
- 突触（Synapse）：神经元之间的连接部位，通过神经递质传递信号。
二、神经元模型（人工神经元）
- 概念：
人工神经元是对生物神经元的一种数学抽象和简化，用于构建人工神经网络。它模仿生物神经元的基本工作原理，但结构和计算方式大大简化。 - 常见模型：
一个典型的人工神经元模型包括：- 输入信号：来自其他神经元或外部数据，通常表示为一个向量 x。
- 权重：与每个输入关联的数值 w，表示输入的重要性。
- 加权求和：计算 z = w^T x + b，其中 b 是偏置项。
- 激活函数：将 z 通过一个非线性函数（如 Sigmoid、ReLU、Tanh 等）转换为输出 a。
, 这里 ϕ 就是激活函数。 -
一个典型的神经元结构示例：
三、神经元与神经元模型的关系
-
抽象与简化：
神经元模型是对真实生物神经元行为的一种抽象与简化。生物神经元的复杂结构和生理机制被归纳为输入、加权求和、非线性激活三个基本步骤。这种简化使得我们能够在计算机上构建和训练大型神经网络。 -
启发与模拟：
虽然生物神经元的实际工作方式比人工神经元复杂得多（涉及大量的生物化学过程），但人工神经元模型依然保留了关键信息处理机制，即将多个输入通过加权求和后，通过激活函数产生输出。这样的机制使得神经网络能够模拟生物神经系统的信息传递和处理过程，进而在模式识别、分类、回归等任务中表现出强大的学习能力。 -
层次构建：
单个神经元模型虽然简单，但将大量的神经元按照一定的拓扑结构（如前馈网络、卷积网络、循环网络等）组合在一起，就可以构建出功能强大的神经网络。这种层次化结构正是源自于生物神经网络的组织方式。
四、激活函数
常用的激活函数包括：
激活函数的作用是使得神经元能够处理复杂的非线性关系，否则如果没有激活函数，多层网络只会堆叠线性变换，其整体仍是线性的。
五、MP 神经元
“MP 神经元”通常指的是 McCulloch-Pitts 神经元，这是人工神经网络领域中最早的神经元模型之一，由沃尔特·麦卡洛克（W. McCulloch）和沃伦·皮茨（W. Pitts）于 1943 年提出。
1. 基本概念
-
模型简介
McCulloch-Pitts 神经元（简称 MP 神经元）是一种数学模型，用于模拟生物神经元的基本功能。它将神经元看作一个“阈值逻辑单元”，输入是二进制的（或离散值），输出也通常是二进制的。 -
工作原理
MP 神经元接收多个输入信号，每个输入信号都有一个对应的权重。神经元计算所有输入信号的加权和，并将这个和与一个预定的阈值进行比较：- 如果加权和大于或等于阈值，神经元输出 1（激活）；
- 如果加权和小于阈值，神经元输出 0（不激活）。
2. 数学描述
3. 直观理解
-
简化的决策单元：
MP 神经元把复杂的生物神经元简化为一个基本的“开/关”设备。当输入达到一定水平时，就“开”——输出1；否则，“关”——输出0。 -
逻辑运算：
MP 神经元可以用来实现基本的逻辑运算，例如 AND、OR 和 NOT 等。多个 MP 神经元可以组合起来形成更复杂的逻辑电路，奠定了后续人工神经网络的基础。
4. 举例说明
例子1：实现逻辑与（AND）运算
例子2：实现逻辑或（OR）运算
5. 总结
-
生物神经元启发：
MP 神经元受生物神经元启发，将神经元简化为一个阈值逻辑单元。 -
数学模型：
它通过加权求和和阈值判断来实现基本的逻辑运算。 -
在神经网络中的作用：
MP 神经元是人工神经网络的基础单元，虽然现代神经网络在表达能力和复杂度上远超过 MP 神经元，但它为后来的模型（如感知器、多层感知器和深度网络）的发展奠定了理论基础。
六、神经元应用举例
例子1：感知器（Perceptron）
- 模型描述：
- 直观理解：
这个模型可以看作是一把“尺子”，它测量输入点在某个方向上的投影，并根据是否超过某个阈值（这里是0）来进行分类。感知器就是最简单的神经元模型，通过线性组合和阈值判断完成基本的决策。
例子2：Sigmoid神经元
- 模型描述：
- 直观理解：
这种神经元将输入加权求和后，通过一个S型曲线将结果映射到0到1之间，使其更适合用于二分类问题中表示样本属于某一类别的概率。例如，在逻辑回归中，我们利用这种神经元来预测样本属于正类的概率。