当前位置：首页 > article >正文

深度学习模型常用激活函数集合

article 2025/2/23 11:41:48

激活函数是深度学习模型中的关键组成部分，用于引入非线性特性，使神经网络能够学习复杂的模式和映射关系；神经网络本质上是一个复合函数。如果没有激活函数，无论网络有多少层，其输出都只是输入的线性组合。激活函数通过引入非线性，使模型能够拟合复杂的非线性数据分布；激活函数决定了神经元在给定输入下的输出值，从而控制神经元是否被激活；一些激活函数（如ReLU）具有稀疏性和计算效率高的特点，有助于加快训练过程；下面是对一些常用激活函数的汇总介绍：

一、激活函数

激活函数一般分为两类，一类是嵌入到某个主干网络层的后面，例如卷积层+BN层的后面；一类是嵌入到模型最后的head层做具体的输出，例如分类、概率输出等；

1.1 嵌入主干网络

1.1.1. Tanh（双曲正切函数）

公式：

特点：
输出范围为 (-1, 1)，是对称版本的Sigmoid函数。相比Sigmoid，梯度下降更快，但也容易出现梯度消失问题。
应用场景：
常用于隐藏层。

1.1.2. ReLU（Rectified Linear Unit）

公式：

特点：
计算简单，能有效缓解梯度消失问题。但可能导致“神经元死亡”（部分神经元永远输出0）。
应用场景：
是目前最常用的激活函数之一，广泛应用于卷积神经网络（CNN）和全连接网络。

1.1.3. Leaky ReLU

公式：

（α 是一个小的正数）
特点：
解决了ReLU的“神经元死亡”问题，允许负值输入有小的梯度。
应用场景：
替代ReLU以避免梯度消失。

1.1.4. ELU（Exponential Linear Unit）

公式：

特点：
在负值区域平滑过渡，减少梯度消失问题。
应用场景：
隐藏层。

1.1.5. Swish

公式：

特点：
自门控激活函数，由Google提出，在某些任务中表现优于ReLU。
应用场景：
新兴的激活函数，适用于多种深度学习任务。

1.1.6. GELU

公式：

特点：
GELU 是一个连续且平滑的函数，避免了 ReLU 在 x=0x=0 处不可导的问题；GELU 的输出依赖于输入 xx 和其概率分布，具有自适应特性，能够更好地捕捉数据的非线性关系；类似于 ReLU 和 ELU，GELU 在负值区域也有一定的梯度，可以有效缓解梯度消失问题；由于涉及误差函数或双曲正切函数，GELU 的计算成本比 ReLU 稍高；
应用场景：
GELU 是 Transformer 模型（如 BERT、GPT 等）中的默认激活函数之一，尤其适合处理文本数据，能够提升模型对语义的理解能力；