pytorch nn.Parameter模块介绍

在 PyTorch 中，nn.Parameter 是一个用于定义可训练参数的模块。它通常用于自定义模型时，将张量注册为模型的一部分，使其在训练过程中能够被优化。

nn.Parameter 的作用

1. 可训练性：将一个普通张量转换为 Parameter 后，它会被自动添加到模型的参数列表中（model.parameters()），并参与梯度计算和优化。
2. 模块关联：Parameter 通常与 nn.Module 配合使用，用于定义模型的权重或偏置。

方法签名

torch.nn.Parameter(data, requires_grad=True)

参数说明

• data: 初始化 Parameter 的张量。
• requires_grad: 是否计算梯度。默认为 True，意味着它会参与反向传播。

用法示例

示例 1：将张量定义为可训练参数

import torch
from torch.nn import Parameter

# 创建一个普通张量
tensor = torch.randn(3, 3)

# 转换为 nn.Parameter
param = Parameter(tensor)
print("参数值:\n", param)
print("是否计算梯度:", param.requires_grad)

示例 2：在自定义模型中使用 nn.Parameter

import torch
import torch.nn as nn

class CustomModel(nn.Module):
    def __init__(self):
        super(CustomModel, self).__init__()
        # 使用 nn.Parameter 定义一个可训练参数
        self.weight = nn.Parameter(torch.randn(5, 5))
        self.bias = nn.Parameter(torch.randn(5))

    def forward(self, x):
        # 使用定义的参数进行计算
        return x @ self.weight + self.bias

# 实例化模型
model = CustomModel()
print("模型参数:")
for name, param in model.named_parameters():
    print(f"{name}: {param.shape}")

示例 3：控制 requires_grad

param = nn.Parameter(torch.randn(4, 4), requires_grad=False)
print("是否计算梯度:", param.requires_grad)

如果 requires_grad=False，则参数不会在反向传播中更新。

注意事项

1. 与 torch.Tensor 的区别：

   • 普通张量不会被自动添加到模型的参数列表中。
   • 使用 nn.Parameter 可以确保张量是模型的一部分，参与优化。

2. 冻结参数： 如果需要临时冻结 nn.Parameter 的更新，可以手动设置其 requires_grad=False：

3. model.weight.requires_grad = False
   

4. 自定义参数初始化： 可以在定义 nn.Parameter 时使用自定义初始化：

5. self.weight = nn.Parameter(torch.zeros(10, 10))
   

常见应用场景

• 自定义权重和偏置：当模型结构中需要手动定义权重或偏置时，nn.Parameter 是最佳选择。
• 实现特殊模块：比如需要权重共享或参数固定的模型模块。
• 控制参数是否参与优化：通过 requires_grad，可以灵活控制某些参数是否更新。

通过 nn.Parameter，开发者可以更加灵活地构造自定义模型，并充分利用 PyTorch 的自动梯度和优化功能。