transformer没有BN层
传统的 Transformer 模型中通常不包含 Batch Normalization（BN）层。
Transformer 模型的核心是自注意力机制，由注意力头组成，而不依赖于卷积或全连接层。在 Transformer 中，每个位置的输入独立地参与注意力计算，因此位置之间的关系是通过注意力权重建模的，而不是通过 BN 等层引入的批次之间的统计信息。
在一些情况下，为了更好的性能或训练稳定性，可以考虑在 Transformer 中使用 Layer Normalization（LN）而不是 BN。LN 在每个样本上进行归一化，而不是在每个小批次上进行。LN 更适合序列数据，因为它不依赖于批次的统计信息，能够更好地处理变长序列。
总的来说，Transformer 网络不需要 BN 层，因为自注意力机制自身不依赖于统计信息的归一化。