激活函数概述及对比
定义与作用
激活函数是神经网络中的核心组件，在引入非线性、控制输出范围和提供梯度信息等方面发挥着关键作用。这些功能共同构成了激活函数的重要特性，使得神经网络能够应对复杂的数据和任务需求。
引入非线性
激活函数的本质在于 引入非线性 ，这是神经网络能够学习复杂函数的基础。如果没有激活函数，无论网络有多少层，其计算都可以简化为一个线性变换，大大限制了模型的表达能力。通过将线性输入映射到非线性输出空间，激活函数使神经网络能够捕捉数据中的复杂非线性关系。
控制输出范围
另一个重要功能是 控制输出范围 。许多激活函数（如Sigmoid和Tanh）将输出限制在特定区间内，如(0,1)或(-1,1)。这种约束不仅有助于稳定训练过程，还能在某些应用场景中提供便利。例如，在二分类问题中，Sigmoid函数的输出可以直接解释为属于某一类别的概率。
提供梯度信息
激活函数还承担着 提供梯度信息 的责任。在反向传播过程中，激活函数的导数用于计算梯度，从而指导网络权重的更新。这一点对于优化算法的有效性至关重要。值得注意的是，某些激活函数（如ReLUÿ