当前位置：首页 > article >正文

PyTorch 类声明中的 super().init()是什么？为什么必须写它？

article 2025/3/10 15:03:42

PyTorch 类声明中的 `super().init()` 是什么？为什么必须写它？

如果你最近在学习 PyTorch，尤其是涉及到神经网络模型的定义，比如 nn.Module 的子类，你可能会经常看到这样的代码：

class MixtureOfExperts(nn.Module):
    def __init__(self, config):
        super(MixtureOfExperts, self).__init__()
        # 其他初始化代码

特别是那一行 super(MixtureOfExperts, self).__init__()，它看起来有点神秘，也让人好奇：为什么要写这个？不写会怎么样？今天我们就来聊聊这个话题，带你从 Python 的面向对象编程（OOP）基础，到 PyTorch 的具体实现，彻底搞明白它的作用。

1. 从 Python 的继承说起

在 Python 中，类（class）可以通过继承来复用已有类的功能。比如：

class Parent:
    def __init__(self):
        print("我是父类的初始化函数")

class Child(Parent):
    def __init__(self):
        print("我是子类的初始化函数")

这里 Child 继承了 Parent，但如果你运行这段代码，实例化 Child() 时只会输出：

我是子类的初始化函数

为什么没有调用父类的 __init__？因为在 Python 中，子类的 __init__ 方法会覆盖父类的 __init__ 方法，除非你显式地告诉 Python：“嘿，我还想用父类的初始化逻辑！” 这时候，就需要用到 super()。

super() 是一个内置函数，它的作用是返回当前类的父类（或超类）的临时对象，让你可以调用父类的方法。改写上面的代码：

class Child(Parent):
    def __init__(self):
        super(Child, self).__init__()  # 调用父类的 __init__
        print("我是子类的初始化函数")

现在运行 Child()，输出会变成：

我是父类的初始化函数
我是子类的初始化函数

这说明，super(Child, self).__init__() 成功调用了父类的初始化方法。super() 的第一个参数是当前类名（Child），第二个参数是 self，表示当前实例。

2. PyTorch 中的 `nn.Module` 和它的 `init`

在 PyTorch 中，自定义神经网络模型时，我们通常会继承 nn.Module 类。nn.Module 是 PyTorch 提供的一个基类，所有的神经网络模块（比如 nn.Linear、nn.Conv2d）都继承自它。它内置了很多功能，比如参数管理、设备迁移（.to(device)）、模型保存等。

当你定义一个类，比如 MixtureOfExperts(nn.Module)，你实际上是在说：“我的这个类是 nn.Module 的子类，我希望它也能拥有 nn.Module 的所有功能。” 而这些功能的初始化逻辑，就写在 nn.Module 的 __init__ 方法里。

nn.Module 的 __init__ 主要做了这些事：

初始化一个空的模块列表和参数列表，用于跟踪子模块和模型参数。
设置一些内部状态，比如 training 标志（用于区分训练和评估模式）。

如果你不调用 super(MixtureOfExperts, self).__init__()，会发生什么？你的 MixtureOfExperts 类将不会执行 nn.Module 的初始化逻辑。这意味着：

你的模型无法正确注册子模块（比如 self.experts）。
PyTorch 无法跟踪你的模型参数（比如 self.gate_w 的权重）。
一些方法（比如 .parameters() 或 .to(device)）会出错或行为异常。

简单来说，不写 super().__init__()，你的模型就没法正常融入 PyTorch 的生态系统。

3. 为什么是 `super(MixtureOfExperts, self)`？

你可能会问：为什么写成 super(MixtureOfExperts, self)，而不是直接 nn.Module.__init__(self)？其实这涉及到 Python 的多重继承和方法解析顺序（MRO，Method Resolution Order）。

直接调用 nn.Module.__init__(self)：这是一种“硬编码”的方式，虽然在简单继承时没问题，但如果你的类有更复杂的继承关系（比如多重继承），可能会导致父类方法被重复调用或调用顺序出错。
使用 super()：super() 会根据类的 MRO 动态决定调用哪个父类的方法，确保每个父类的 __init__ 只被调用一次。这种方式更灵活、更安全，尤其在复杂的继承体系中。

在 Python 3 中，super() 还提供了一个简写形式，如果你懒得写类名和 self，可以直接用：

super().__init__()

效果是一样的，PyTorch 官方代码中也常见这种写法。所以你的 MixtureOfExperts 可以简化为：

class MixtureOfExperts(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.num_experts = config.num_experts
        self.k = config.k
        self.gate_w = nn.Linear(config.expert_dim, self.num_experts, bias=False)
        # 其他代码

4. 一个具体的例子：不写会怎样？

我们来看看你的 MixtureOfExperts 示例。如果去掉 super().__init__()：

class MixtureOfExperts(nn.Module):
    def __init__(self, config):
        # 去掉 super().__init__()
        self.num_experts = config.num_experts
        self.k = config.k
        self.gate_w = nn.Linear(config.expert_dim, self.num_experts, bias=False)
        self.experts = nn.ModuleList([...])

model = MixtureOfExperts(config)
print(list(model.parameters()))  # 应该输出模型参数