pytorch torch.nn.LayerNorm类介绍
torch.nn.LayerNorm 是 PyTorch 中的一种标准化层，用于对输入的特征进行归一化。它在自然语言处理和序列建模中非常常见，可以帮助模型更快地收敛，并提高泛化能力。
关于类、层和模块
torch.nn.LayerNorm 是 一个类，它是 PyTorch 中标准化操作的实现，继承自 torch.nn.Module，因此它本质上是一个 神经网络层 或 模块。
在 PyTorch 的语境中，层 和 模块 通常可以互换使用，因为每个神经网络层（如 Linear、Conv2d、LayerNorm等）都是 torch.nn.Module 的子类，而模块可以包含一个或多个层，以及其他子模块。
主要特点
- 归一化维度：
LayerNorm通过指定的维度（通常是最后一个维度或一组特征维度）对输入数据进行归一化。 - 独立样本归一化：
LayerNorm独立地对每个样本进行归一化，不依赖于批量大小。 - 可学习参数：包含可训练的缩放因子
gamma和偏移量beta，类似于BatchNorm。 </