当前位置：首页 > article >正文

卷积神经网络（CNN）中的批量归一化层（Batch Normalization Layer）

article 2025/2/22 2:25:58

批量归一化层（BatchNorm层），或简称为批量归一化（Batch Normalization），是深度学习中常用的一种技术，旨在加速神经网络的训练并提高收敛速度。

一、基本思想

为了让数据在训练过程中保持同一分布，在神经网络的中间层（隐藏层）的一层或多层上进行批量归一化。对于每一个小批次数据（mini-batch），计算该batch的均值与方差，在将线性计算结果送入激活函数之前，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0、方差为1的标准正态分布，然后再将计算结果作为激活函数的输入值进行计算。这样可以使得网络中间层的输入保持相对稳定，有助于解决训练过程中的梯度消失或梯度爆炸问题。

批量归一化的本质：对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的标准正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域。

一般而言，将数据转化为均值为0、方差为1的分布这一过程被称为标准化（Standardization），而归一化（Normalization）一般指的是将一列数据变化到某个固定区间（范围）中。

二、了解几个概念

1. 批次（batch）

神经网络处理数据，不是一个数据一个数据的处理，而是一次输入很大一个批次，比如99张图片，输入之后，再划分很多个批次，一次处理一个批次。

图1 神经网络中多批次数据输入

2. 均值与方差

在训练过程中，分批次训练，划分batch和batch_size，计算每一个批次（batch）的对应位置的均值和方差。如计算一个批次中所有图片的每一个位置的元素的均值与方差，一张图片有多少个元素，就有多少个均值与方差。最后得到的均值和方差是用向量的形式表现的。

图2 小批次中的计算机过程

例：一个batch有3个输入，每个输入是一个长度为4的向量

图3 归一化的均值计算

三、若干归一化要解决的问题

为什么要进行批量归一化，主要是在神经网络训练过程中，存在以下问题：

1. 协变量偏移

在机器学习中，一般假设模型输入数据的分布是稳定的，若是模型输入数据的分布发生变化，这种现象被称为协变量偏移（covariate shift）；模型的训练集和测试集的分布不一致，也属于协变量偏移现象；同理，在一个复杂的机器学习系统中，也会要求系统的各个子模块在训练过程中输入分布是稳定的，若是不满足，则称为内部协变量偏移（internal covariate shift，ICS）。

图4 训练集和测试集的分布不一致导致的协变量偏移问题

2. 梯度消失问题

经过神经网络中多层的变换，很可能使得后面层的输入数据变得过大或过小，从而掉进激活函数（例如Sigmoid、Tanh）的饱和区。

图5 Sigmoid函数存在梯度消失问题

饱和区的梯度随x的变化y的变化很不明显，即会产生梯度消失问题，进而导致学习过程停止。为防止这个问题，我们希望，数据落入激活函数中间的非饱和区。为了降低内部协变量偏移所带来的负面影响，在训练过程中一般会采用非饱和型激活函数（ReLU）、精细的网络参数初始化，保守的学习率，但这不仅会使得网络的学习速度太慢，还会使得最终效果特别依赖于网络的初始化。

3. 梯度爆炸问题

梯度爆炸（Gradient Explosion）指的是在反向传播过程中，梯度值变得非常大，超出了网络的处理范围，从而导致权重更新变得不稳定甚至不收敛的现象。

图6 梯度爆炸问题

4. 过拟合问题

四、归一化的数学表达

对全连接层做批量归一化时。通常将批量归一化层置于全连接层中的仿射变换和激活函数之间。设全连接层的输入为u，权重参数和偏差参数分别为W和b，则批量归一化输入必由仿射变换x=Wu+b得到。

图7 全连接层结构

激活函数（sigmoid）为 $\sigma$ ，设批量归一化的运算符为BN。那么，使用批量归一化的全连接层的输出为 $\sigma(BN(x))$ 。u是由多个小批量batch组成，其中一个batch由m个样本组成，仿射变换的输出为一个新的batch $B=\left \{ \right.x^{(1)},\cdots , x^{(m)}\left. \right \}$ ， $B$ 正是批量归一化层的输入，中任意样本 $x^{(i)}\in \mathbb{R}^{d},1<i<m$ ，批量归一化层的输出 $y^{(i)}$ 同样是d维向量。

归一化层的输出 $y^{(i)}$ 由以下几步求得。

1. 求小批量 $B$ 的均值 $\mu _{B}$ 和方差 $\sigma _{B}^{2}$ 。

其中的平方计算是按元素求平方。

2. 标准化和归一化。

（1）标准化。使用按元素开方和按元素除法的方法对 $x^{(i)}$ 进行标准化。

这里 $\epsilon >0$ 是一个很小的常数，保证分母大于0。

（2）归一化。在上面标准化的基础上，批量归一化层引入了两个可以学习的模型参数，缩放（scale）参数 $\gamma$ 和偏移（shift）参数 $\beta$ 。这两个参数和 $x^{(i)}$ 形状相同，皆为d维向量。

3. 计算批量归一化层的输出 $y^{(i)}$ ，参数 $\gamma$ 和参数 $\beta$ 与 $x^{(i)}$ 分别做按元素乘法（符号⊙）和加法计算：

至此，我们得到了 $x^{(i)}$ 的批量归一化的输出 $y^{(i)}$ 。

注意：当 $\gamma=\sqrt{\sigma _{B}^{2}+\epsilon }$ 和 $\beta=\mu _{B}$ ，可学习的拉伸和偏移两个参数对归一化操作无益，即学出的模型可以不使用批量归一化。

五、工作流程

批量归一化可以看作是在每一层输入和上一层输出之间加入了一个新的计算层，对数据的分布进行额外的约束，来解决以上问题。

在训练过程中，批量归一化会对每个神经元（卷积核中的一个通道）的激活输入进行如下变换，具体实现步骤如下：

计算批量均值与方差：对于给定的小批量数据，计算其特征的均值与方差。
归一化：使用计算出的均值和方差对小批量数据中的每个特征进行归一化处理，确保输出的均值接近0，方差接近1。
缩放与偏移：引入缩放因子（γ）和偏移因子（β）两个可学习的参数，这两个参数是在训练过程中学习得到的，归一化后的数据会通过这两个参数进行缩放和偏移，允许模型恢复可能被归一化操作去除的有用特征。

其算法流程如图所示：

图8 归一化算法流程

在模型推理或测试时，均值和方差不再针对每个小批量实时计算，而是使用整个训练集的移动平均值。

六、作用与优势

1. 加速训练收敛：通过减小内部协变量偏移（Internal Covariate Shift），使得输入分布更加稳定，从而可以使用更高的学习率，加速训练收敛速度，减少训练时间，加速神经网络的训练过程。

2. 提高稳定性：批量归一化有助于控制梯度的变化范围，防止梯度爆炸或消失，从而提高训练的稳定性。

3. 提高模型性能：稳定的输入数据分布有助于模型学习到更加鲁棒的特征表示，从而提高模型的性能。

4. 减少过拟合：BatchNorm层也可以被看作一种正则化方法，因为它可以减少模型的过拟合风险。

5. 减少对权重初始化的依赖和敏感性：使得网络对权重初始化的依赖减小，简化了超参数的选择。即使初始化不是最优的，模型也能较好地收敛。

七、注意事项

在使用BatchNorm层时，需要注意选择合适的小批量大小（Batch Size），过小或过大的小批量都可能影响BatchNorm层的效果。BatchNorm层通常位于卷积层或全连接层之后，激活函数之前。但也有一些变种将BatchNorm层放在激活函数之后。在训练过程中，BatchNorm层会维护均值和方差的指数移动平均，以供推理阶段使用。因此，在训练结束后，需要保存这些移动平均值作为模型的一部分。

八、应用场景

批量归一化在神经网络中广泛应用，特别是在卷积神经网络（CNN）和全连接网络（FCN）中。当神经网络各层的输入数据分布发生变化时，例如训练过程中每个批次的数据分布不一致，这种情况下适合使用批量归一化来稳定网络的训练。

而在深度学习框架中，BatchNorm层通常作为一层（如BatchNorm层）来实现，可以轻松地集成到神经网络模型中。在训练阶段，BatchNorm层会根据小批量的统计信息来规范化输入数据；在推理（测试）阶段，BatchNorm层则使用训练过程中计算得到的移动平均均值和方差来规范化输入数据。

九、PyTorch实现

在PyTorch中，可以通过nn.BatchNorm1d、nn.BatchNorm2d和nn.BatchNorm3d等类来实现一维、二维和三维的批量归一化。以下是一个简单的示例，展示了如何在全连接神经网络中使用批量归一化：

python

import torch

import torch.nn as nn

import torch.optim as optim



class SimpleNN(nn.Module):

    def __init__(self, input_size, hidden_size, output_size):

        super(SimpleNN, self).__init__()

        self.fc1 = nn.Linear(input_size, hidden_size)

        self.bn1 = nn.BatchNorm1d(hidden_size)

        self.relu = nn.ReLU()

        self.fc2 = nn.Linear(hidden_size, output_size)



    def forward(self, x):

        out = self.fc1(x)

        out = self.bn1(out)

        out = self.relu(out)

        out = self.fc2(out)

        return out



# 定义模型、损失函数和优化器

model = SimpleNN(input_size=20, hidden_size=50, output_size=10)

criterion = nn.CrossEntropyLoss()

optimizer = optim.Adam(model.parameters(), lr=0.001)



# 模拟训练过程

for epoch in range(100):

    inputs = torch.randn(32, 20)  # 小批量数据

    labels = torch.randint(0, 10, (32,))  # 标签

    # 前向传播

    outputs = model(inputs)

    loss = criterion(outputs, labels)

    # 反向传播和优化

    optimizer.zero_grad()

    loss.backward()

    optimizer.step()

在这个示例中，nn.BatchNorm1d用于对隐藏层的输出进行批量归一化，从而提高训练效率和稳定性。

查看全文

http://www.kler.cn/a/413613.html