落地级分类模型训练框架搭建（1）：resnet18/50和mobilenetv2在CIFAR10上测试结果

目录

前言

1.分类结果测试汇总

2.训练过程可视化

ResNet18直接训练（准确率、召回率、Loss）

ResNet50直接训练（准确率、召回率、Loss）

3.模型权重分析

一般的训练，获取的模型权重分布

引入约束化训练的模型权重分布​编辑

4.测试结果

模型[6] ResNet50测试结果

模型[7] ResNet18测试结果

模型[10] ResNet18_009测试结果

前言

用CIFAR10测试一下自己搭建的分类模型训练框架，包括基本训练、知识蒸馏、模型稀疏化、剪枝微调、模型量化。最终，ResNet18取得96%的分类准确率，且剪枝91%的ResNet18可以取得94%的准确率。

1.分类结果测试汇总

说明：严格划分了训练集、验证集和测试集，没有将CIFAR10的测试集当做验证集。

训练测试集为CIFAR10训练集随机采样95%，验证集为训练集剩余的5%，测试集为原CIFAR10的测试集。实验结果如下：

说明：L1表示引入L1正则，L2表示引入L2正则，di表示使用知识蒸馏，fu表示微调，009表示参数仅有原模型的9%，即剪枝了91%的参数。

测试结论：

        1. CIFAR10上，不使用预训练模型，ResNet18准确率一般在92%~94%，使用预训练模型可以到95%，性能极限在96%左右。（修改第一层卷积核大小可以再提高一些）

        2.框架使用ImageNet上的预训练模型，没有修改模型，就能达到95.41%（模型[5]），说明整个训练框架能够充分训练，且很难发生过拟合（最后一轮模型[5]比最好一轮模型[4]测试结果还高，且验证精度基本等于测试精度）。

        3.使用知识蒸馏可以显著提高模型训练收敛速度和最终测试精度，模型[7]~[9]均使用模型[6]作为teacher model，且模型[6]仅直接训练一次，还未进行交叉验证的微调。

        4.利用L2正则实现权重衰减，再使用L1实现权重置0剪枝，可以使ResNet18稀疏性达到91%，最终也剪枝了91%，导致了性能下降，实际剪枝84%可能更好。

2.训练过程可视化

ResNet18直接训练（准确率、召回率、Loss）

ResNet50直接训练（准确率、召回率、Loss）

结论：使用一系列的数据增强（随机翻转、旋转、裁剪、锐化、仿射变换、对比度调整、区域高斯模糊、区域翻转、区域打码、各种噪声等），外加正则化（L1、L2、dropout、batchnorm等），指数衰减学习率，模型基本不会过拟合。因此，可以对一个数据集使用交叉验证，尽可能拟合，即可提高同源数据的预测准确率（模型[9]到模型[10]的提升）。

3.模型权重分析

一般的训练，获取的模型权重分布

引入约束化训练的模型权重分布

结论：引入约束化训练，使得整体权重更接近高斯分布，却不会出现离群值，更方便后续的模型量化。

4.测试结果

模型[6] ResNet50测试结果

Class airplane: Precision: 0.970884, Recall: 0.967000, F1-Score: 0.968938
Class automobile: Precision: 0.981763, Recall: 0.969000, F1-Score: 0.975340
Class bird: Precision: 0.947264, Recall: 0.952000, F1-Score: 0.949626
Class cat: Precision: 0.900771, Recall: 0.935000, F1-Score: 0.917566
Class deer: Precision: 0.966169, Recall: 0.971000, F1-Score: 0.968579
Class dog: Precision: 0.941117, Recall: 0.927000, F1-Score: 0.934005
Class frog: Precision: 0.983690, Recall: 0.965000, F1-Score: 0.974255
Class horse: Precision: 0.988753, Recall: 0.967000, F1-Score: 0.977755
Class ship: Precision: 0.970238, Recall: 0.978000, F1-Score: 0.974104
Class truck: Precision: 0.953786, Recall: 0.970000, F1-Score: 0.961824
Class macro avg: Precision: 0.960443, Recall: 0.960100, F1-Score: 0.960199

模型[7] ResNet18测试结果

Class airplane: Precision: 0.964215, Recall: 0.970000, F1-Score: 0.967099
Class automobile: Precision: 0.975075, Recall: 0.978000, F1-Score: 0.976535
Class bird: Precision: 0.954683, Recall: 0.948000, F1-Score: 0.951330
Class cat: Precision: 0.895494, Recall: 0.934000, F1-Score: 0.914342
Class deer: Precision: 0.963964, Recall: 0.963000, F1-Score: 0.963482
Class dog: Precision: 0.947040, Recall: 0.912000, F1-Score: 0.929190
Class frog: Precision: 0.968379, Recall: 0.980000, F1-Score: 0.974155
Class horse: Precision: 0.992828, Recall: 0.969000, F1-Score: 0.980769
Class ship: Precision: 0.976884, Recall: 0.972000, F1-Score: 0.974436
Class truck: Precision: 0.962376, Recall: 0.972000, F1-Score: 0.967164
Class macro avg: Precision: 0.960094, Recall: 0.959800, F1-Score: 0.959850

模型[10] ResNet18_009测试结果

Class airplane: Precision: 0.963001, Recall: 0.937000, F1-Score: 0.949823
Class automobile: Precision: 0.969031, Recall: 0.970000, F1-Score: 0.969515
Class bird: Precision: 0.929949, Recall: 0.916000, F1-Score: 0.922922
Class cat: Precision: 0.862275, Recall: 0.864000, F1-Score: 0.863137
Class deer: Precision: 0.937870, Recall: 0.951000, F1-Score: 0.944389
Class dog: Precision: 0.886076, Recall: 0.910000, F1-Score: 0.897879
Class frog: Precision: 0.949654, Recall: 0.962000, F1-Score: 0.955787
Class horse: Precision: 0.968813, Recall: 0.963000, F1-Score: 0.965898
Class ship: Precision: 0.975635, Recall: 0.961000, F1-Score: 0.968262
Class truck: Precision: 0.955268, Recall: 0.961000, F1-Score: 0.958126
Class macro avg: Precision: 0.939757, Recall: 0.939500, F1-Score: 0.939574