当前位置：首页 > article >正文

torch使用心得

article 2025/2/23 22:59:39

基本概念

训练周期

训练周期(epoch)下有多个训练步骤(step)。

训练集/验证集/测试集

训练集（Training Set）: 使用于模型训练的数据。模型通过学习训练集中的特征和模式来更新其参数。

验证集（Validation Set）: 用于调整模型超参数和评估模型性能的数据。通常在每个训练周期（epoch）结束后使用验证集来检查模型的表现，帮助我们防止过拟合。

测试集（Test Set）: 用于评估模型最终性能的数据。测试集是完全独立于训练过程的，只有在模型训练完成后才能用于评估。

ModelCheckpoint

ModelCheckpoint是Pytorch中的一个Callback，它就是用于模型缓存的。

它会监视某个指标，每次指标达到最好的时候，它就缓存当前模型。

在每个epoch结束作为回调函数，保存模型。

torch张量

创建torch张量

# 从numpy array创建
tensor = torch.from_numpy(numpy.array([[-1.5029, 2.2071]]))

# 直接从list创建，优先用这种
torch.tensor([2, 3.3])

访问下标

t = torch.tensor([1,2])
# t[0]依然是张量，要取得数字，用item方法
print(t[0].item())

argmax

返回数组沿轴axis最大值的索引。

import numpy

# axis=1表示按行，axis=0表示按列
# 结果[1, 0]
print(numpy.argmax([[2,3,1], [4,2,1]], axis=1))

# 如果无axis参数，表示整个数组平铺（flatten）后的索引位置
# 结果为3
print(numpy.argmax([[2,3,1], [4,2,1]]))

argmax一般用于分类结果的输出。分类结果的数组包含了每个类别的概率值，其索引则对应各自的label，取最大概率值的索引，就相当于得到了最有可能的类别。

torch.argmax的用法跟numpy.argmax很类似，就是参数略有不同，torch.argmax维度参数是dim。

training_step

在自动优化中，training_step必须返回一个tensor或者dict或者None(跳过)，对于简单的使用，在training_step可以return一个tensor作为Loss回传，也可以return一个字典，其中必须包括key “loss”，字典中的"loss"会提取出来作为Loss回传，具体过程主要包含在lightning\pytorch\loop\sautomatic.py中的_ AutomaticOptimization()类。