当前位置：首页 > article >正文

【深度学习】参数管理

article 2025/3/12 2:05:34

参数管理

在选择了架构并设置了超参数后，我们就进入了训练阶段。
此时，我们的目标是找到使损失函数最小化的模型参数值。
经过训练后，我们将需要使用这些参数来做出未来的预测。
此外，有时我们希望提取参数，以便在其他环境中复用它们，将模型保存下来，以便它可以在其他软件中执行，或者为了获得科学的理解而进行检查。

之前的介绍中，我们只依靠深度学习框架来完成训练的工作，而忽略了操作参数的具体细节。
本节，我们将介绍以下内容：

访问参数，用于调试、诊断和可视化；
参数初始化；
在不同模型组件间共享参数。

(我们首先看一下具有单隐藏层的多层感知机。)

import torch  # 导入PyTorch主库
from torch import nn  # 导入神经网络模块

# 构建顺序模型：4维输入 → 8维隐藏层 → ReLU激活 → 1维输出
net = nn.Sequential(
    nn.Linear(4, 8),   # 全连接层1 (4输入特征 → 8输出特征)
    nn.ReLU(),         # 非线性激活函数
    nn.Linear(8, 1)    # 全连接层2 (8输入 → 1输出，适用于回归任务)
)

# 创建随机输入数据：2个样本，每个样本4个特征
X = torch.rand(size=(2, 4))  # 张量形状：(batch_size, input_features)

# 前向传播计算
output = net(X)  # 输出形状：(2, 1)

在这里插入图片描述

[参数访问]

我们从已有模型中访问参数。当通过Sequential类定义模型时，我们可以通过索引来访问模型的任意层。这就像模型是一个列表一样，每层的参数都在其属性中。
如下所示，我们可以检查第二个全连接层的参数。

print(net[2].state_dict())

在这里插入图片描述
输出的结果告诉我们一些重要的事情：
首先，这个全连接层包含两个参数，分别是该层的权重和偏置。两者都存储为单精度浮点数（float32）。
注意，参数名称允许唯一标识每个参数，即使在包含数百个层的网络中也是如此。

state_dict() 方法会返回一个包含模型所有可学习参数（如权重和偏置）以及持久缓冲区（如批量归一化层中的 running_mean 和 running_var）的有序字典。
这个字典的键是参数或缓冲区的名称，值是对应的 torch.Tensor。

import torch
import torch.nn as nn

# 定义一个简单的神经网络
net = nn.Sequential(
    nn.Linear(4, 8),
    nn.ReLU(),
    nn.Linear(8, 1)
)

# 获取模型的状态字典
model_state_dict = net.state_dict()

# 打印状态字典的键
for key in model_state_dict.keys():
    print(key)

输出结果

0.weight
0.bias
2.weight
2.bias

这里的键表示网络中各层的参数名称，0.weight 和 0.bias 分别对应第一个 nn.Linear 层的权重和偏置，2.weight 和 2.bias 对应第二个 nn.Linear 层的权重和偏置。

[目标参数]

注意，每个参数都表示为参数类的一个实例。要对参数执行任何操作，首先我们需要访问底层的数值。
有几种方法可以做到这一点。有些比较简单，而另一些则比较通用。
下面的代码从第二个全连接层（即第三个神经网络层）提取偏置，提取后返回的是一个参数类实例，并进一步访问该参数的值。

print(type(net[2].bias))
print(net[2].bias)
print(net[2].bias.data)

在这里插入图片描述
参数是复合的对象，包含值、梯度和额外信息。这就是我们需要显式参数值的原因。
除了值之外，我们还可以访问每个参数的梯度。
在上面这个网络中，由于我们还没有调用反向传播，所以参数的梯度处于初始状态。

print(net[2].weight)

net[2].weight.grad == None

在这里插入图片描述

[一次性访问所有参数]

当我们需要对所有参数执行操作时，逐个访问它们可能会很麻烦。
当我们处理更复杂的块（例如，嵌套块）时，情况可能会变得特别复杂，因为我们需要递归整个树来提取每个子块的参数。
下面，我们将通过演示来比较访问第一个全连接层的参数和访问所有层。

print(*[(name, param.shape) for name, param in net[0].named_parameters()])
print(*[(name, param.shape) for name, param in net.named_parameters()])

在这里插入图片描述

* 是 Python 中的解包操作符，它的作用是将可迭代对象（如列表、元组等）中的元素解包，然后将这些元素作为独立的参数传递给函数。

这为我们提供了另一种访问网络参数的方式，如下所示。

net.state_dict()['2.bias'].data

在这里插入图片描述

[从嵌套块收集参数]

让我们看看，如果我们将多个块相互嵌套，参数命名约定是如何工作的。我们首先定义一个生成块的函数（可以说是“块工厂”），然后将这些块组合到更大的块中。

def block1():
    return nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                         nn.Linear(8, 4), nn.ReLU())

# 定义一个名为 block2 的函数，用于创建一个包含多个 block1 模块的顺序神经网络模块
def block2():
    # 创建一个空的顺序容器，用于按顺序堆叠多个神经网络模块
    net = nn.Sequential()
    # 循环 4 次，每次添加一个 block1 模块到顺序容器中
    for i in range(4):
        # 使用 add_module 方法将 block1 模块添加到 net 中，并为其指定一个唯一的名称
        # 这里的名称格式为 'block {i}'，其中 i 是循环的索引
        net.add_module(f'block {i}', block1())
    # 返回包含多个 block1 模块的顺序容器
    return net

rgnet = nn.Sequential(block2(), nn.Linear(4, 1))
rgnet(X)

在 PyTorch 中，add_module 是 nn.Module 类的一个方法，用于向一个 nn.Module 对象（例如 nn.Sequential、自定义的 nn.Module 子类）中动态添加子模块。下面详细介绍 add_module 函数。

add_module(name: str, module: Optional[Module]) -> None

name：一个字符串类型的参数，用于为添加的子模块指定一个唯一的名称。通过这个名称，后续可以方便地访问该子模块。
module：一个 nn.Module 类型的对象，即要添加到当前模块中的子模块。

add_module 函数允许你在运行时动态地构建神经网络，这在需要根据不同条件或参数来构建网络结构时非常有用。例如，你可以根据输入的参数数量或网络的复杂度，决定添加不同数量或类型的子模块。

在这里插入图片描述
[设计了网络后，我们看看它是如何工作的。]

print(rgnet)

在这里插入图片描述
因为层是分层嵌套的，所以我们也可以像通过嵌套列表索引一样访问它们。
下面，我们访问第一个主要的块中、第二个子块的第一层的偏置项。

rgnet[0][1][0].bias.data

在这里插入图片描述

参数初始化

知道了如何访问参数后，现在我们看看如何正确地初始化参数。
我们已明确了良好初始化的必要性。
深度学习框架提供默认随机初始化，也允许我们创建自定义初始化方法，满足我们通过其他规则实现初始化权重。

默认情况下，PyTorch会根据一个范围均匀地初始化权重和偏置矩阵，这个范围是根据输入和输出维度计算出的。

PyTorch的nn.init模块提供了多种预置初始化方法。

[内置初始化]

让我们首先调用内置的初始化器。
下面的代码将所有权重参数初始化为标准差为0.01的高斯随机变量，且将偏置参数设置为0。

# 定义一个初始化函数 init_normal，用于初始化神经网络层的参数
def init_normal(m):
    # 检查传入的模块 m 是否为线性层
    if type(m) == nn.Linear:
        # 如果是线性层，使用正态分布初始化该层的权重
        # 正态分布的均值为 0，标准差为 0.01
        nn.init.normal_(m.weight, mean=0, std=0.01)
        # 将该层的偏置初始化为零
        nn.init.zeros_(m.bias)
# 对网络 net 中的所有模块应用 init_normal 初始化函数
net.apply(init_normal)

net[0].weight.data[0], net[0].bias.data[0]

在这里插入图片描述
我们还可以将所有参数初始化为给定的常数，比如初始化为1。

# 定义一个名为 init_constant 的函数，用于初始化神经网络层的参数
def init_constant(m):
    # 检查传入的模块 m 是否为线性层
    if type(m) == nn.Linear:
        # 如果是线性层，将该层的权重初始化为常数 1
        nn.init.constant_(m.weight, 1)
        # 将该层的偏置初始化为零
        nn.init.zeros_(m.bias)
# 对网络 net 中的所有模块应用 init_constant 初始化函数
net.apply(init_constant)
net[0].weight.data[0], net[0].bias.data[0]

在这里插入图片描述

我们还可以[对某些块应用不同的初始化方法]。
例如，下面我们使用Xavier初始化方法初始化第一个神经网络层，然后将第三个神经网络层初始化为常量值42。

# 定义一个名为 init_xavier 的函数，用于初始化神经网络层的参数
# 该函数接收一个模块 m 作为输入
def init_xavier(m):
    # 检查传入的模块 m 是否为线性层
    if type(m) == nn.Linear:
        # 如果是线性层，使用 Xavier 均匀分布初始化该层的权重
        
        # Xavier 初始化有助于缓解梯度消失和梯度爆炸问题
        nn.init.xavier_uniform_(m.weight)

# 定义一个名为 init_42 的函数，用于初始化神经网络模块的参数
# 此函数接收一个模块 m 作为输入，旨在将线性层的权重初始化为常数 42
def init_42(m):
    # 检查传入的模块 m 是否为线性层
    if type(m) == nn.Linear:
        # 如果是线性层，使用 nn.init.constant_ 函数将该层的权重初始化为常数 42
        nn.init.constant_(m.weight, 42)

在这里插入图片描述

[自定义初始化]

有时，深度学习框架没有提供我们需要的初始化方法。
在下面的例子中，我们使用以下的分布为任意权重参数 $w$ 定义初始化方法：

$\begin{aligned} w \sim \begin{cases} U(5, 10) & \text{ 可能性 } \frac{1}{4} \\ 0 & \text{ 可能性 } \frac{1}{2} \\ U(-10, -5) & \text{ 可能性 } \frac{1}{4} \end{cases} \end{aligned}$

# 定义一个自定义的初始化函数 my_init，用于初始化神经网络模块的参数
# 此函数接收一个模块 m 作为输入，对线性层的参数进行自定义初始化操作
def my_init(m):
    # 检查传入的模块 m 是否为线性层
    if type(m) == nn.Linear:
        # 打印初始化信息，包含线性层的第一个参数的名称和形状
        print("Init", *[(name, param.shape)
                        for name, param in m.named_parameters()][0])
        # 使用均匀分布初始化线性层的权重，范围在 -10 到 10 之间
        nn.init.uniform_(m.weight, -10, 10)
        # 对权重数据进行过滤操作，将绝对值小于 5 的权重值置为 0
        # 保留绝对值大于等于 5 的权重值
        m.weight.data *= m.weight.data.abs() >= 5  #m.weight.data.abs() >= 5为布尔类型张量

net.apply(my_init)
net[0].weight[:2]

在这里插入图片描述
注意，我们始终可以直接设置参数。

net[0].weight.data[:] += 1
net[0].weight.data[0, 0] = 42
net[0].weight.data[0]

在这里插入图片描述

[参数绑定]

有时我们希望在多个层间共享参数：我们可以定义一个稠密层，然后使用它的参数来设置另一个层的参数。

# 我们需要给共享层一个名称，以便可以引用它的参数
shared = nn.Linear(8, 8)
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
                    shared, nn.ReLU(),
                    shared, nn.ReLU(),
                    nn.Linear(8, 1))
net(X)
# 检查参数是否相同
print(net[2].weight.data[0] == net[4].weight.data[0])

net[2].weight.data[0, 0] = 100
# 确保它们实际上是同一个对象，而不只是有相同的值
print(net[2].weight.data[0] == net[4].weight.data[0])