理论学习：with torch.no_grad()
如果不加上“with torch.no_grad():”，模型参数会发生改变吗？
如果不使用with torch.no_grad():，在进行模型推理（即计算outputs_cls = net(inputs[batch_size//2:])这一步）时，模型参数不会发生改变，原因如下：
-
参数更新机制：在PyTorch中，模型参数的更新发生在执行
optimizer.step()时，这一步会根据之前通过.backward()计算的梯度来更新模型参数。仅仅计算前向传播（即模型推理）而不调用.backward()和optimizer.step()，模型参数不会被更新。 -
梯度累积：不使用
with torch.no_grad():仅仅意味着在前向传播过程中，PyTorch会继续追踪计算图并为所有的可训练参数以及执行的操作计算梯度。这些梯度信息将会被存储起来，等待可能的后续梯度反向传播使用。但如果没有显式地执行梯度反向传播（.backward()）和参数更新（optimizer.step()），这些梯度信息不会被用来更新模型参数。 -
性能影响：尽管不使用
with torch.no_grad():不会直接导致模型参数发生变化，但它会导致不必要的梯度计算和存储，这不仅增加了计算量，也增加了内存使用。特别是在处理大型模型或大量数据时，这种额外负担可能会显著影响推理性能和效率。
总结，不使用with torch.no_grad():在进行模型的前向推理时，不会导致模型参数发生改变，但会导致不必要的资源消耗和性能下降。因此，在进行模型推理或评估时使用with torch.no_grad():是一种高效且资源友好的做法。