YOLOv9改进策略【模型轻量化】| PP-LCnet
一、本文介绍
本文记录的是利用PP-LCNet中的DepSepConv模块优化YOLOv9中的RepNCSPELAN4。YOLOv9在使用辅助分支后，模型的参数量和计算量相对较大，本文利用DepSepConv模块改善模型结构，使模型在几乎不增加延迟的情况下提升网络准确度。
文章目录
- 一、本文介绍
- 二、PP-LCNet介绍
- 2.1 PP-LCNet结构设计
- 三、PP-LC模块的实现代码
- 四、添加步骤
- 4.1 修改common.py
- 4.1.1 创新模块⭐
- 4.2 修改yolo.py
- 五、yaml模型文件
- 5.1 模型改进⭐
- 六、成功运行结果
二、PP-LCNet介绍
PP-LCNet：一个轻量级的CPU卷积神经网络
2.1 PP-LCNet结构设计
-
特点：
论文中总结了一系列在不增加推理时间的情况下提高精度的方法，并结合这些方法实现了精度和速度的更好平衡。基于此提出了设计轻量级CNN的一些通用规则。
-
模块原理：
-
基本块：使用
MobileNetV1中提到的DepthSepConv作为基本块，该模块不会增加模型的推理速度和额外的操作，且已被英特尔CPU加速库深度优化，推理速度可超越其他轻量级块。 -
激活函数：将
BaseNet中的激活函数从ReLU替换为H-Swish，大大提高了性能，同时推理时间几乎不变。 -
SE模块：
SE模块有助于对网络通道进行加权以获得更好的特征，但在英特尔CPU上会增加推理时间。通过实验发现，将SE模块添加到网络尾部附近的块中，可以发挥更好的作用，实现更好的精度 - 速度平衡。 -
卷积核大小：实验发现，在网络尾部用5×5卷积核替换3×3卷积核，可以在低延迟和高准确性的情况下达到替换几乎所有层的效果，因此只在尾部进行此替换操作。
-
1×1卷积层：在
GAP后的网络输出维度较小，直接添加最终分类层会丢失特征的组合。为了给网络更强的拟合能力，在最终GAP层后添加了一个1280维大小的1×1卷积（相当于FC层），可以在几乎不增加推理时间的情况下让模型存储更多信息。
-
论文：https://arxiv.org/pdf/2109.15099.pdf
源码：https://github.com/PaddlePaddle/PaddleClas
三、PP-LC模块的实现代码
PP-LC模块的实现代码如下：
class SELayer(nn.Module):
def __init__(self, in_channel, reduction=16):
super(SELayer, self).__init__()
assert reduction >= 16
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.fc = nn.Sequential(
nn.Linear(in_channel, in_channel // reduction, bias=False),
nn.ReLU(inplace=True),
nn.Linear(in_channel // reduction, in_channel, bias=False),
nn.Sigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x).view(b, c)
y = self.fc(y).view(b, c, 1, 1)
return x * y.expand_as(x)
class DepSepConv(nn.Module):
def __init__(self, inp, oup, kernel_size, stride, use_se):
super(DepSepConv, self).__init__()
assert stride in [1, 2]
padding = (kernel_size - 1) // 2
if use_se:
self.conv = nn.Sequential(
# dw
nn.Conv2d(inp, inp, kernel_size, stride, padding, groups=inp, bias=False),
nn.BatchNorm2d(inp),
nn.Hardswish(),
# SE
SELayer(inp, inp),
# pw-linear
nn.Conv2d(inp, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
nn.Hardswish(),
)
else:
self.conv = nn.Sequential(
# dw
nn.Conv2d(inp, inp, kernel_size, stride, padding, groups=inp, bias=False),
nn.BatchNorm2d(inp),
nn.Hardswish(),
# pw-linear
nn.Conv2d(inp, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
nn.Hardswish()
)
def forward(self, x):
return self.conv(x)
DepSepConv模块参数详解
| 参数 | 解释 |
|---|---|
| inp | 输入通道数 |
| oup | 输出通道数 |
| kernel_size | 卷积核大小 |
| stride | 步长 |
| use_se | 是否使用SE注意力 |
四、添加步骤
4.1 修改common.py
此处需要修改的文件是models/common.py
common.py中定义了网络结构的通用模块，我们想要加入新的模块就只需要将模块代码放到这个文件内即可。
4.1.1 创新模块⭐
模块改进方法：
1️⃣ 加入PP-LC模块代码。将上方的实现代码粘贴到common.py文件下，PP-LC模块添加后如下：
2️⃣ 基于DepSepConv的RepNCSPELAN4。
此方法是对YOLOv9中的RepNCSPELAN4模块进行改进。将PP-LCnet中的DepSepConv模块与RepNCSPELAN4结合后，使YOLOv9在不增加延迟的情况下促进网络学习更强的特征表示、提高轻量级模型精度，并且DepSepConv模块中的SE模块有助于对网络通道进行加权以获得更好的特征表示。
改进代码如下：
class PPLCRepNCSPELAN4(nn.Module):
# csp-elan
def __init__(self, c1, c2, c3, c4, c5=1): # ch_in, ch_out, number, shortcut, groups, expansion
super().__init__()
self.c = c3//2
self.cv1 = Conv(c1, c3, 1, 1)
self.cv2 = nn.Sequential(RepNCSP(c3//2, c4, c5), DepSepConv(c4, c4, 3, 1, False))
self.cv3 = nn.Sequential(RepNCSP(c4, c4, c5), DepSepConv(c4, c4, 3, 1, True))
self.cv4 = Conv(c3+(2*c4), c2, 1, 1)
def forward(self, x):
y = list(self.cv1(x).chunk(2, 1))
y.extend((m(y[-1])) for m in [self.cv2, self.cv3])
return self.cv4(torch.cat(y, 1))
def forward_split(self, x):
y = list(self.cv1(x).split((self.c, self.c), 1))
y.extend(m(y[-1]) for m in [self.cv2, self.cv3])
return self.cv4(torch.cat(y, 1))
注意❗：在4.2小节中的yolo.py文件中需要声明的模块名称为：PPLCRepNCSPELAN4。
4.2 修改yolo.py
此处需要修改的文件是models/yolo.py
yolo.py用于函数调用，我们只需要将common.py中定义的新的模块名添加到parse_model函数下即可。
PPLCRepNCSPELAN4模块添加后如下：
五、yaml模型文件
5.1 模型改进⭐
在代码配置完成后，配置模型的YAML文件。
此处以models/detect/yolov9-c.yaml为例，在同目录下创建一个用于自己数据集训练的模型文件yolov9-c-pplc.yaml。
将yolov9-c.yaml中的内容复制到yolov9-c-pplc.yaml文件下，修改nc数量等于自己数据中目标的数量。
📌 模型的修改方法是将骨干网络中的所有RepNCSPELAN4模块替换成PPLCRepNCSPELAN4模块。当然也可以直接使用DepSepConv模块替换RepNCSPELAN4模块，此处便不再追叙了。
# YOLOv9
# parameters
nc: 1 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
#activation: nn.LeakyReLU(0.1)
#activation: nn.ReLU()
# anchors
anchors: 3
# YOLOv9 backbone
backbone:
[
[-1, 1, Silence, []],
# conv down
[-1, 1, Conv, [64, 3, 2]], # 1-P1/2
# conv down
[-1, 1, Conv, [128, 3, 2]], # 2-P2/4
# elan-1 block
[-1, 1, PPLCRepNCSPELAN4, [256, 128, 64, 1]], # 3
# avg-conv down
[-1, 1, ADown, [256]], # 4-P3/8
# elan-2 block
[-1, 1, PPLCRepNCSPELAN4, [512, 256, 128, 1]], # 5
# avg-conv down
[-1, 1, ADown, [512]], # 6-P4/16
# elan-2 block
[-1, 1, PPLCRepNCSPELAN4, [512, 512, 256, 1]], # 7
# avg-conv down
[-1, 1, ADown, [512]], # 8-P5/32
# elan-2 block
[-1, 1, PPLCRepNCSPELAN4, [512, 512, 256, 1]], # 9
]
# YOLOv9 head
head:
[
# elan-spp block
[-1, 1, SPPELAN, [512, 256]], # 10
# up-concat merge
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 7], 1, Concat, [1]], # cat backbone P4
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 13
# up-concat merge
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 5], 1, Concat, [1]], # cat backbone P3
# elan-2 block
[-1, 1, RepNCSPELAN4, [256, 256, 128, 1]], # 16 (P3/8-small)
# avg-conv-down merge
[-1, 1, ADown, [256]],
[[-1, 13], 1, Concat, [1]], # cat head P4
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 19 (P4/16-medium)
# avg-conv-down merge
[-1, 1, ADown, [512]],
[[-1, 10], 1, Concat, [1]], # cat head P5
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 22 (P5/32-large)
# multi-level reversible auxiliary branch
# routing
[5, 1, CBLinear, [[256]]], # 23
[7, 1, CBLinear, [[256, 512]]], # 24
[9, 1, CBLinear, [[256, 512, 512]]], # 25
# conv down
[0, 1, Conv, [64, 3, 2]], # 26-P1/2
# conv down
[-1, 1, Conv, [128, 3, 2]], # 27-P2/4
# elan-1 block
[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]], # 28
# avg-conv down fuse
[-1, 1, ADown, [256]], # 29-P3/8
[[23, 24, 25, -1], 1, CBFuse, [[0, 0, 0]]], # 30
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]], # 31
# avg-conv down fuse
[-1, 1, ADown, [512]], # 32-P4/16
[[24, 25, -1], 1, CBFuse, [[1, 1]]], # 33
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 34
# avg-conv down fuse
[-1, 1, ADown, [512]], # 35-P5/32
[[25, -1], 1, CBFuse, [[2]]], # 36
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 37
# detection head
# detect
[[31, 34, 37, 16, 19, 22], 1, DualDDetect, [nc]], # DualDDetect(A3, A4, A5, P3, P4, P5)
]
六、成功运行结果
分别打印网络模型可以看到PPLCRepNCSPELAN4模块已经加入到模型中，并可以进行训练了。
yolov9-c-pplc：
from n params module arguments
0 -1 1 0 models.common.Silence []
1 -1 1 1856 models.common.Conv [3, 64, 3, 2]
2 -1 1 73984 models.common.Conv [64, 128, 3, 2]
3 -1 1 102144 models.common.UniversalInvertedBottleneckBlock[128, 256, 0, 3, True, 1, 2]
4 -1 1 164352 models.common.ADown [256, 256]
5 -1 1 400896 models.common.UniversalInvertedBottleneckBlock[256, 512, 0, 3, True, 1, 2]
6 -1 1 656384 models.common.ADown [512, 512]
7 -1 1 2138624 models.common.UniversalInvertedBottleneckBlock[512, 512, 5, 3, True, 1, 4]
8 -1 1 656384 models.common.ADown [512, 512]
9 -1 1 2138624 models.common.UniversalInvertedBottleneckBlock[512, 512, 5, 3, True, 1, 4]
10 -1 1 656896 models.common.SPPELAN [512, 512, 256]
11 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
12 [-1, 7] 1 0 models.common.Concat [1]
13 -1 1 3119616 models.common.RepNCSPELAN4 [1024, 512, 512, 256, 1]
14 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
15 [-1, 5] 1 0 models.common.Concat [1]
16 -1 1 912640 models.common.RepNCSPELAN4 [1024, 256, 256, 128, 1]
17 -1 1 164352 models.common.ADown [256, 256]
18 [-1, 13] 1 0 models.common.Concat [1]
19 -1 1 2988544 models.common.RepNCSPELAN4 [768, 512, 512, 256, 1]
20 -1 1 656384 models.common.ADown [512, 512]
21 [-1, 10] 1 0 models.common.Concat [1]
22 -1 1 3119616 models.common.RepNCSPELAN4 [1024, 512, 512, 256, 1]
23 5 1 131328 models.common.CBLinear [512, [256]]
24 7 1 393984 models.common.CBLinear [512, [256, 512]]
25 9 1 656640 models.common.CBLinear [512, [256, 512, 512]]
26 0 1 1856 models.common.Conv [3, 64, 3, 2]
27 -1 1 73984 models.common.Conv [64, 128, 3, 2]
28 -1 1 212864 models.common.RepNCSPELAN4 [128, 256, 128, 64, 1]
29 -1 1 164352 models.common.ADown [256, 256]
30 [23, 24, 25, -1] 1 0 models.common.CBFuse [[0, 0, 0]]
31 -1 1 847616 models.common.RepNCSPELAN4 [256, 512, 256, 128, 1]
32 -1 1 656384 models.common.ADown [512, 512]
33 [24, 25, -1] 1 0 models.common.CBFuse [[1, 1]]
34 -1 1 2857472 models.common.RepNCSPELAN4 [512, 512, 512, 256, 1]
35 -1 1 656384 models.common.ADown [512, 512]
36 [25, -1] 1 0 models.common.CBFuse [[2]]
37 -1 1 2857472 models.common.RepNCSPELAN4 [512, 512, 512, 256, 1]
38[31, 34, 37, 16, 19, 22] 1 21542822 DualDDetect [1, [512, 512, 512, 256, 512, 512]]
yolov9-c-pplc summary: 1030 layers, 48591654 parameters, 48591622 gradients, 228.1 GFLOPs
在将PPLCRepNCSPELAN4模块替换RepNCSPELAN4模块后，模型参数量和计算量均有减少，更加轻量。