pytorch Batch Normalization介绍
Batch Normalization（批归一化） 是一种广泛应用于深度学习中的技术，用于对每一批数据的特定维度进行归一化，从而加速训练收敛并提高模型的泛化能力。PyTorch 提供了多种针对不同数据形状的 Batch Normalization 类，包括：
torch.nn.BatchNorm1dtorch.nn.BatchNorm2dtorch.nn.BatchNorm3d
Batch Normalization 的原理
对一个特定维度 xx（例如卷积输出的通道维度）的输入数据进行如下操作：
1. 计算该维度的均值和方差：
- m 是该批次中数据的数量。
2. 进行归一化：
- ϵ 是一个小值，用于数值稳定。
3. 缩放和平移：
- γ 和 β 是可学习参数，分别用于缩放和平移，恢复表达能力。