【漫话机器学习系列】159.单位阶跃激活函数（Unit-Step Activation Function）

单位阶跃激活函数（Unit-Step Activation Function）详解

1. 概述

单位阶跃函数（Unit-Step Function）是一种常见的数学函数，广泛应用于信号处理、控制系统和神经网络等领域。在人工神经网络中，它被用作激活函数，决定神经元的输出是否被激活。单位阶跃函数的主要特点是：

• 当输入变量 x 小于 0 时，函数值为 0；

• 当输入变量 x 大于或等于 0 时，函数值为 1。

2. 数学定义

单位阶跃函数 f(x) 可用数学表达式表示为：

在图像上，它表现为在 x = 0 处的突变，由 0 突然跳变为 1，形成阶跃式的变化。

3. 图像解析

如图所示，单位阶跃函数的图像是一条水平线：

• 在 x < 0 的区域，函数值始终为 0；

• 在 x ≥ 0 的区域，函数值始终为 1；

• 在 x = 0 处，有一个不连续点，这也是阶跃函数的关键特性。

4. 不同的定义方式

单位阶跃函数的定义在 x = 0 处存在不同的处理方式，主要有以下三种常见定义：

1. 标准定义（如本图所示）：当 x = 0 时，函数取值为 1，即：

   f(0) = 1

2. 对称定义：在 x = 0 处取值 0.5，即：

   f(0) = 0.5

   这种定义有助于减少某些数学分析中的不连续性问题。

3. 左连续定义：在 x = 0 处取值 0，即：

   f(0) = 0

这些不同的定义方式在不同的应用场景下有不同的用途，但整体趋势保持一致。

5. 应用领域

(1) 信号处理

在数字信号处理中，单位阶跃函数常用于描述开关信号、滤波器响应等。例如，一个开关打开的瞬间，信号可以用单位阶跃函数来表示。

(2) 控制系统

在控制理论中，阶跃函数常用于测试系统的动态响应。例如，当输入信号突然变化时，可以使用阶跃函数分析系统的稳定性和瞬态响应特性。

(3) 机器学习与神经网络

在人工神经网络（ANN）中，单位阶跃函数是最早使用的激活函数之一，它用于确定神经元是否被激活。然而，由于它的导数在大部分区域都为 0，而在 x = 0 处不存在，使得反向传播算法无法有效更新权重，因此在现代神经网络中通常被 ReLU（Rectified Linear Unit）等其他激活函数所取代。

(4) 电子电路

在数字逻辑电路和模拟信号处理中，单位阶跃函数常用于描述脉冲信号的开启或关闭行为，例如触发器或计数器的状态变化。

6. 局限性

尽管单位阶跃函数在理论分析和早期的人工神经网络中起到了重要作用，但它也存在一些局限性：

• 不可微性：在 x = 0 处不可导，导致梯度下降优化算法无法正常工作；

• 梯度消失问题：对于大部分输入，函数的梯度为 0，导致神经网络的学习过程受限；

• 缺乏细粒度控制：由于输出只有 0 和 1，无法提供平滑的概率输出，因此在分类任务中通常不如 Sigmoid 或 Softmax 函数有效。

7. 结论

单位阶跃函数是一种简单而重要的数学工具，在许多领域有广泛应用。虽然在现代神经网络中被更先进的激活函数所取代，但它仍然是理解神经网络基本原理的基础概念之一。在不同的应用场景下，我们可以根据需求选择合适的定义方式，使其更好地适用于特定的问题。

参考

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

• Simon Haykin (2008). Neural Networks and Learning Machines. Pearson.