pytorch小记（六）：pytorch中的clone和detach操作：克隆/复制数据 vs 共享相同数据但 与计算图断开联系

以下代码片段：

self.x = x.clone().detach()  # 或 torch.tensor(x).float()

用于处理和复制张量 x，并根据需要使其与原始计算图断开联系或改变其数据类型。下面是逐部分详细解释。

1. x.clone()

• 作用：对张量 x 进行深拷贝，生成一个新的张量。
  • 新的张量和原始张量具有相同的数据，但存储在不同的内存空间。
  • 修改 clone() 的返回值不会影响原始张量。

示例：

x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = x.clone()

y[0] = 99.0
print(x)  # tensor([1., 2., 3.], grad_fn=<CloneBackward>)
print(y)  # tensor([99.,  2.,  3.])

2. x.detach()

• 作用：返回一个与 x 共享相同数据但 与计算图断开联系 的张量。
  • 通常用于阻止梯度计算。
  • 在神经网络中，如果你不希望某些操作影响反向传播时，会用到 detach()。

示例：

x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = x.detach()

y[0] = 99.0  # y 的数据更改不会影响 x
print(x)  # tensor([1., 2., 3.], requires_grad=True)
print(y)  # tensor([99.,  2.,  3.])

使用场景：

detach() 在以下场景中非常有用：

1. 阻止梯度传播：

   z = x.clone().detach()
   # z 不会参与反向传播，x 的梯度也不会受 z 的影响
   

2. 保存模型状态或生成推断结果：

   with torch.no_grad():
       output = model(x)  # 临时禁用梯度计算
   

3. torch.tensor(x).float()

• 作用：将输入 x 转换为 PyTorch 张量，并将其数据类型强制为 torch.float32（默认浮点类型）。
• 适用场景：
  • 输入可能是一个 Python 列表或 NumPy 数组时，用于将其转换为 PyTorch 张量。
  • 确保张量数据类型一致（某些模型或操作对数据类型有严格要求）。

示例：

x = [[1, 2, 3], [4, 5, 6]]  # Python 列表
y = torch.tensor(x).float()  # 转为 torch.float32 类型的张量
print(y)
# tensor([[1., 2., 3.],
#         [4., 5., 6.]])

4. 两者的对比与结合

• x.clone().detach() 和 torch.tensor(x).float() 是不同的操作：

  1. x.clone().detach()：
     • 复制一个现有张量，且与原始计算图断开。
     • 适用于 PyTorch 张量 x，不适用于列表或其他数据类型。
  2. torch.tensor(x).float()：
     • 将输入转换为新的 PyTorch 张量，适用于从非张量对象（如列表、NumPy 数组）构造张量。
     • 转换过程中可以指定数据类型（如 .float()）。

• 结合使用：
  如果需要复制一个张量、改变数据类型，并断开计算图，可以将两者结合：

  self.x = torch.tensor(x.clone().detach()).float()
  

使用场景

x.clone().detach()：

• 当 x 是一个 PyTorch 张量，且需要：
  • 复制数据。
  • 与原始计算图断开。

torch.tensor(x).float()：

• 当 x 是一个非 PyTorch 张量对象（如列表或 NumPy 数组），且需要：
  • 转换为 PyTorch 张量。
  • 确保数据类型为浮点型。

完整示例：

import torch

# 输入张量
x = torch.tensor([[2.0, -1.0], [1.0, 1.0]], requires_grad=True)

# 使用 clone().detach()
y = x.clone().detach()
y[0, 0] = 99.0
print("x:", x)  # 原始张量不会改变
print("y:", y)  # 新张量修改了

# 使用 torch.tensor()
z = torch.tensor([[1, 2], [3, 4]]).float()
print("z:", z)  # 转换为浮点张量

总结

• clone()：深拷贝一个张量。
• detach()：断开张量与计算图的连接。
• torch.tensor(x).float()：将非张量数据转换为浮点型 PyTorch 张量。
• 它们在不同场景下各有用途，可以单独使用或结合使用。