当前位置: 首页 > article >正文

【mmengine】配置器(config)(进阶)继承与导出,命令行修改配置

一、配置文件的继承

1.1 继承机制概述

新建optimizer_cfg.py:

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

新建runtime_cfg.py:

device = "cuda"
gpu_ids = [0, 1]
batch_size = 64
epochs = 100
num_workers = 8

新建resnet50.py:

_base_ = ['optimizer_cfg.py',"runtime_cfg.py"]

新建inherit_and_export.py:

from mmengine.config import Config

cfg = Config.fromfile('resnet50.py')
print(cfg)

运行inherit_and_export.py:
在这里插入图片描述
虽然我们在resnet50.py 中没有定义 optimizer 字段和run_time参数,但由于我们写了 base = [‘optimizer_cfg.py’, runtime_cfg.py],会使这个配置文件获得 optimizer_cfg.py和 runtime_cfg.py中的所有配置信息。

1.2 修改继承字段

由于 optimizer 这个字段是一个字典,我们只需要重新定义这个字典里面需修改的下级字段即可。这个规则也适用于增加一些下级字段。
修改resnet50.py:

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
optimizer_SHUAI = dict(lr=0.123456)

在这里插入图片描述
对于非字典类型的字段,例如整数,字符串,列表等,重新定义即可完全覆盖,例如下面的写法就将 gpu_ids 这个字段的值修改成了 [0,1,2,3,4,5,6,7]。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)
# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

在这里插入图片描述

1.3 删除字典中的 key

有时候我们对于继承过来的字典类型字段,不仅仅是想修改其中某些 key,可能还需要删除其中的一些 key。这时候在重新定义这个字典时,需要指定 delete=True,表示将没有在新定义的字典中出现的 key 全部删除。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

# 删除, 只保留type和lr
optimizer = dict(_delete_=True, type='SGD', lr=0.01)

在这里插入图片描述
这时候,optimizer_SHUAI 这个字典中就只有 type 和 lr 这两个 key,momentum 和 weight_decay 将不再被继承。

1.4 引用被继承文件中的变量

有时我们想重复利用 base 中定义的字段内容,就可以通过 {{base.xxxx}} 获取来获取对应变量的拷贝。例如:
新建refer_base_var.py:

_base_ = ['resnet50.py']
a = {{_base_.model}}

在inherit_and_export.py中

cfg = Config.fromfile('refer_base_var.py')
print(cfg.a)

结果
在这里插入图片描述
解析后发现,a 的值变成了 resnet50.py 中定义的 model

配置类提供了一种更 pythonic 的方式,让我们能够在 python 类配置文件中修改 base 中定义的变量(类配置文件专属特性,目前不支持在 json、yaml 配置文件中修改 base 中定义的变量)。

_base_ = ['resnet50.py']
# a = {{_base_.model}}

a = _base_.model
a.type = 'MobileNet'

在这里插入图片描述

二、 配置文件的导出

==在启动训练脚本时,用户可能通过传参的方式来修改配置文件的部分字段,为此我们提供了 dump 接口来导出更改后的配置文件。==与读取配置文件类似,用户可以通过 cfg.dump(‘config.xxx’) 来选择导出文件的格式。dump 同样可以导出有继承关系的配置文件,导出的文件可以被独立使用,不再依赖于 base 中定义的文件。

基于继承一节定义的 resnet50.py,我们将其加载后导出:

cfg = Config.fromfile('resnet50.py')
cfg.dump('resnet50_dump.py')

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
model = dict(type='ResNet', depth=50)

cfg.dump(‘resnet50_dump.py’)导出的py格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.yaml’)导出的yaml格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.json’)导出的json格式的:
在这里插入图片描述

三、 其他进阶用法

3.1 命令行修改配置

考虑到我们想修改的配置通常是一些内层参数,如优化器的学习率、模型卷积层的通道数等,因此 MMEngine 提供了一套标准的流程,让我们能够在命令行里轻松修改配置文件中任意层级的参数。

1.使用 argparse 解析脚本运行的参数
2.使用 argparse.ArgumentParser.add_argument 方法时,让 action 参数的值
3.为 DictAction,用它来进一步解析命令行参数中用于修改配置文件的参数使用配置类的 merge_from_dict 方法来更新配置

新建argparse_demo.py:

import argparse

from mmengine.config import Config, DictAction


def parse_args():
    # 1. 定义
    parser = argparse.ArgumentParser(description='Train a model')

    # 2. 增加参数
    parser.add_argument('config', help='train config file path')
    parser.add_argument('--cfg-options',
        nargs='+',
        action=DictAction,
        help='要在使用的配置中覆盖某些设置,应采用 xxx=yyy 格式的键值对 它们将被合并到配置文件中。如果要被覆盖的值是一个列表,它应该像')
    # 3. 解析
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    cfg = Config.fromfile(args.config)
    if args.cfg_options is not None:
        cfg.merge_from_dict(args.cfg_options)
    print(cfg)


if __name__ == '__main__':
    main()

新建emample.py:

model = dict(type='CustomModel', in_channels=[1, 2, 3])
optimizer = dict(type='SGD', lr=0.01)

通过命令行的方式修改model和optimizer中的值:

python argparse_demo.py ./example.py 
--cfg-options optimizer.type="Adam" 
--cfg-options model.in_channels="[1, 1, 1]"

结果:
在这里插入图片描述


http://www.kler.cn/news/327471.html

相关文章:

  • 鸿蒙开发(NEXT/API 12)【硬件(常见问题)】驱动开发服务
  • 3-3 AUTOSAR RTE 对SR Port的作用
  • 51单片机的智能停车场【proteus仿真+程序+报告+原理图+演示视频】
  • Ubuntu 手动安装 ollama
  • 音视频入门基础:FLV专题(9)——Script Tag简介
  • mysql迁移postgreSql windows 工具
  • SQL SERVER 从嫌弃存储到爱上存储过程我给存储过程开发了版本控制工具和远程调试功能...
  • 基于ESP8266使用OLED显示温湿度和时间
  • Jmeter常用函数、逻辑控制器
  • 025.Oracle_DBMS_job定时任务
  • 单片机在控制和自动化任务中的应用场景广泛
  • 关于区块链的安全和隐私
  • 国外问卷调查匠哥已经不带人了,但是还可以交流
  • Windows平台如何实现RTSP|RTMP流录像?
  • STM32F1+HAL库+FreeTOTS学习14——数值信号量
  • 如何创建一个包含多个列的表?
  • PHP的guzzlehttp/guzzle库在碰到各种异常时的场景
  • 前端框架对比和选择:Vue、React 和 Angular 谁更适合你的项目?
  • Java 死锁及避免讲解和案例示范
  • 初识Linux · O(1)调度算法
  • 新品 | Teledyne FLIR IIS 推出Forge 1GigE SWIR 短波红外工业相机系列
  • 【d57】【sql】1661. 每台机器的进程平均运行时间
  • 【AI学习笔记】基于Unity+DeepSeek开发的一些BUG记录解决方案
  • 【YashanDB知识库】YashanDB-OCI-快速上手
  • 仿真设计|基于51单片机的路口交通灯控制系统仿真
  • sudo 命令:掌握系统权限控制,实现安全高效管理
  • C++----类和对象(一)
  • SpringBoot集成-RocketMQ快速入门
  • 使用 SSH 连接 Docker 服务器:IntelliJ IDEA 高效配置与操作指南
  • Day48_SpringSecurity