基于合成数据的行人检测AI模型训练

在线工具推荐： 三维数字孪生场景工具  -  GLTF/GLB在线编辑器  -  Three.js AI自动纹理化开发  -  YOLO 虚幻合成数据生成器  -  3D模型在线转换  -   3D模型预览图生成服务

近年来，自动驾驶汽车因其对社会的广泛影响而越来越受欢迎，因为它们提高了乘客的安全性和便利性，降低了油耗，减少了交通堵塞和事故，节省了成本，提高了可靠性。然而，自动驾驶汽车存在一些功能错误，在完全部署到主干道上之前，需要将其降至最低。行人检测是自动驾驶汽车中防止事故的最重要任务之一（功能错误）。然而，由于以下问题，准确的行人检测是一项非常具有挑战性的任务：1、遮挡和变形；2、低质量和多光谱图像。

最近，深度学习（DL）技术在解决自动驾驶汽车的上述行人检测问题方面显示出巨大的潜力。本调查报告概述了行人检测问题，以及借助深度学习技术解决这些问题的最新进展。此外，还介绍了内容丰富的讨论和未来的研究工作，旨在为读者提供见解并激发新的研究方向。

行人检测是一种计算机视觉技术，是自动驾驶汽车能够检测其路径上人体运动的最重要功能之一，有助于确保人员安全，识别和追捕人群中的罪魁祸首，防止事故发生，避免移动的车辆和障碍物。此类检测任务可以在雷达、摄像头和光探测和测距 （LiDAR） 等传感器的高级组合的帮助下执行。近年来，引入了一种名为高级驾驶辅助系统（ADS）的系统，该系统有助于预防不可预测的事故。该系统具有许多功能，可以构建多个任务，例如保护通勤者、环境和驾驶员。行人检测是其既定功能之一。

本文介绍了一种基于YOLO的实时计算机视觉机动车道行人检测。YOLO架构速度快，每秒可处理45帧，使基于YOLO的架构可用于实时机动车道行人检测实验。在本文中，将使用UnrealSynth虚幻合成数据生成器 来生成训练所需要的数据集，用户只需要将在UnrealSynth虚幻合成数据生成器中搭建虚拟场景，经过对虚拟场景的简单配置就可以自动生成YOLO模型训练数据集，非常的简单方便：

基于YOLO的实时计算机视觉自动机动车道行人检测：

1. 场景准备

• 将模型导入到场景。
• 配置场景先关参数，如：生成的图片数据集的图片分辨率、生成的图片的数量等。

2. 生成数据集

设置参数后，点击【确定】后会在本地目录中...\UnrealSynth\Windows\UnrealSynth\Content\UserData 生成本地合成数据集，本地数据包含两个文件夹以及一个 yaml 文件：images、labels、test.yaml 文件；images中存放着生成的图片数据集，labels中存放着生成的标注数据集。

images和labels目录下各有两个目录：train 和 val，train 目录表示训练数据目录，val 表示验证数据目录，标注数据的格式如下所示：

0 0.68724 0.458796 0.024479 0.039815
0 0.511719 0.504167 0.021354 0.034259
0 0.550781 0.596759 0.039062 0.04537
0 0.549219 0.368519 0.023438 0.044444
0 0.47526 0.504167 0.009896 0.030556
0 0.470313 0.69537 0.027083 0.035185
0 0.570052 0.499074 0.016146 0.040741
0 0.413542 0.344444 0.022917 0.037037
0 0.613802 0.562037 0.015104 0.027778
0 0.477344 0.569444 0.017188 0.016667

synth.yaml是数据的配置文件，数据格式如下：

path:
train: images
val: images
test:
names:
 0: Safety helmet

3、YOLOv5模型训练

生成数据集后，下一步就是利用Yolo来训练模型，第一步，打开 ultralytics hub 在线训练工具，将刚才生成的数据集上传到ultralytics hub

将合成数据上传后，选择YOLO模型版本，确定好YOLO模型版本后，点击【continue】就可以开始使用ultralytics来训练集我们的模型了，如下所示：

选择YOLO模型后点击下一步将会生成用户key值，这个key值将在下一步模型训练时用到

复制【step1】中中的内容，点击【step2】进入到google Colab页面，如下所示：

首先，先点击step中的播放按钮，安装环境依赖，如上图所示；环境安装成功后，接下来将【Start】中的整个内容给都换掉，用在上一步中复制的key值整体替换里面原来的信息，如图：

然后点击播放按钮，开始训练模型，如下图所示：

模型训练需要一段时间...

4、训练模型验证

模型训练完成之后，可以用训练好的模型验证一下，用几张工地工人干活的场景图片，导入用图片来验证一下，操作步骤如图所示：

图片验证结果如下：

转载：基于合成数据的行人检测AI模型训练 (mvrlink.com)