pytorch中model.eval的理解
在复现simsam的过程中，看到在线性评估部分的训练函数中设置了model.eval,不太理解，印象中一直觉得，model.eval会影响梯度的回传，这里来拨乱反正一下。
- 事实上，model.eval()主要影响 BatchNorm 和 Dropout 层的行为，确保它们在训练和评估时的表现一致。
model.eval() 会做以下几件事：
- BatchNorm 层：从计算每个批次的均值和方差，变成使用训练期间保存的全局均值和方差。这有助于模型在推理时保持一致的行为。
- Dropout 层：将 Dropout 层禁用（即在训练时丢弃部分神经元的随机行为停止），以确保所有神经元参与计算。
- 而真正影响梯度回传的实际上是requires_grad=True。只要某一层该属性为True，那么这一层就会参与前向传播和反向传播。
- 结合simsiam的实际场景来看一下：
在该场景中希望冻结模型的前几层（特征提取部分）并只训练后面的线性分类器部分，因此，将前面的层的 requires_grad 设置为 False，使得它们不会计算梯度和更新参数，后面的线性分类器部分保持 requires_grad=True，使其参与训练。同时在训练的过程中设置model.eval(),确保被冻结的层中的BN层的参数不会改变。
万万要搞清楚啊！