POT工具是什么

POT工具，全称：Post-training Optimization Tool，即训练后优化工具，主要功能是将YOLOv5 OpenVINO™ FP32 模型进行 INT8 量化，实现模型文件压缩，从而进一步提高模型推理性能。

不同于 Quantization-aware Training 方法，POT使用起来更加简单，在改善 CPU 和硬件加速器延迟的同时缩减模型大小，且几乎不会降低模型准确率，因此广泛地被应用于工业界的量化实践中。

安装POT工具

POT工具已经集成到OpenVINO™ 开发套件中，只需一条命令，可以完成全部内建工具的安装。

pip install openvino-dev

参考链接

OpenVINO内建工具集

POT 命令行方式 vs API方式

POT提供了以下两种使用方式：命令行方式和API方式

1.命令行方式：

命令行方式使用简单，通过命令行运行相应配置文件来调用OpenVINO™ Accuracy Checker Tool预定义DataLoader, Metric, Adapter, Pre/Postprocessing等模块，这种方式适用于 OpenVINO™ Open Model Zoo 支持模型或类似模型的 INT8 量化。

"engine": {
        "type": "accuracy_checker",
        "config": "./configs/examples/accuracy_checker/mobilenet_v2.yaml"
    }

pot默认调用accuracy_checker, 这个工具默认支持Open Model Zoo的模型，并通过accuracy_checker检查模型精度。accuracy_checker的配置文件accuracy-check.yml文件定义好了adapter、datasets、preprocessing、postprocessing、metrics等。若您将要优化的模型，不在Open Model Zoo里面，则需要用API方式，自定义DataLoader 和 Metric 等。

2.API方式：

用户通过继承 DataLoader 来定义客制化的数据集加载及预处理模块，通过继承 Metric 来定义客制化的后处理和精度计算的模块，这种方式更加灵活，可以适用不同客制化模型的量化需求。

POT工具API使用方式:

由于YOLOv5，并不在Open Model Zoo中，所以本文选择API方式实现YOLOv5模型INT8量化。

• YOLOv5不在Open Model Zoo中
  

用POT工具的API方式实现YOLOv5模型INT8量化

第一步：配置YOLOv5和 OpenVINO™开发环境。

git clone https://github.com/ultralytics/yolov5.git
cd yolov5 && pip install -r requirements.txt && pip install openvino-dev[onnx]

第二步：导出YOLOv5 OpenVINO IR模型。

在yolov5路径下，运行

python export.py --weights yolov5s.pt --include onnx openvino

• 导出YOLOv5 OpenVINO IR模型
  

以上两步，参考链接

第三步：准备量化用标定数据集coco128

COCO128数据集是从COCO Train2017中抽取了前128张图片制作的数据集。POT在做训练后INT8量化时，需要一个标定数据，即大约300张的标注图片，coco128数据集很适合做标定数据集。

• 标定数据集
  

在yolov5路径下，运行命令：

python train.py --data data\coco128.yaml

会自动下载coco128数据集：

• coco128数据集位置
  

第四步，运行olov5s_pot_int8_coco128.py

第五步，将量化算法从DefaultQuantization更改为AccuracyAwareQuantization，再次运行，对比不同算法INT8量化结果