基于YOLO11/v10/v8/v5深度学习的危险驾驶行为检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

基本功能演示

摘要：随着道路交通安全意识的日益增强，如何有效预防交通事故成为了社会关注的重点之一,危险驾驶行为检测识别的重要性在于它能够主动识别并警示驾驶员的不当行为，从而减少由这些行为引发的交通事故。本文基于YOLOv11/v10/v8/v5的深度学习框架，通过6157张危险驾驶行为的相关图片，训练了可进行危险驾驶行为目标检测的模型,可以分别检测4种类别：['喝饮料','吃东西','用手机','抽烟']，同时全面对比分析了YOLOv5n、YOLOv8n、YOLOv10n、YOLO11这4种模型在验证集上的评估性能表现。最终基于训练好的模型制作了一款带UI界面的危险驾驶行为检测识别系统，更便于进行功能的展示。该系统是基于python与PyQT5开发的，支持图片、视频以及摄像头进行目标检测，并保存检测结果。本文提供了完整的Python代码和使用教程，给感兴趣的小伙伴参考学习，完整的代码资源文件获取方式见文末。

点击跳转至文末《完整相关文件及源码》获取

研究背景

随着道路交通安全意识的日益增强，如何有效预防交通事故成为了社会关注的重点之一。基于YOLO深度学习框架开发的危险驾驶行为检测识别系统，专门针对驾驶员在行车过程中常见的四种危险行为——喝饮料、吃东西、使用手机和抽烟进行识别，该系统的应用可以显著提高道路安全性，减少因分心驾驶导致的事故。此外，它还能作为辅助工具，帮助交通管理部门及车队运营者加强安全管理，保障公众的生命财产安全。

其主要应用场景有：
车队管理：公共交通公司、物流公司等可以通过安装此系统来监控司机的行为，确保他们在驾驶过程中遵守安全规定，降低事故率。
警务执法：交通警察可以在巡逻车上安装该系统，以辅助识别道路上驾驶员的不当行为，及时提醒或处罚违规者。
驾驶员培训：驾校及驾驶培训机构可以在教学车辆上安装该系统，用来评估学员在实际驾驶中的行为表现，纠正不良习惯。
自动驾驶辅助：在自动驾驶技术尚未完全成熟的过渡期，该系统可作为自动驾驶辅助设备的一部分，监测车内驾驶员状态，确保系统切换到人工驾驶模式时的安全性。
数据分析与研究：交通规划部门及研究机构可以利用该系统收集的数据，分析驾驶员行为模式，为制定更有效的交通安全政策提供依据。

综上所述，该危险驾驶行为检测识别系统的重要性在于它能够主动识别并警示驾驶员的不当行为，从而减少由这些行为引发的交通事故。通过在多种场景下的应用，不仅提高了驾驶员的安全意识，还加强了交通管理部门的监管能力。长远来看，这样的技术有助于营造一个更加安全和谐的道路交通环境。随着技术的进步和社会对交通安全重视程度的加深，该系统将在保障道路安全方面发挥更加积极的作用。

主要工作内容

本文的主要内容包括以下几个方面：

1. 搜集与整理数据集：搜集整理实际场景中危险驾驶行为的相关数据图片，并进行相应的数据处理，为模型训练提供训练数据集；
2. 训练模型：基于整理的数据集，根据最前沿的YOLOv11/v10/v8/v5目标检测技术训练目标检测模型，实现对需要检测的对象进行有效检测的功能；
3. 模型性能对比：对训练出的4种模型在验证集上进行了充分的结果评估和对比分析，主要目的是为了揭示每个模型在关键指标（如Precision、Recall、mAP50和mAP50-95等指标）上的优劣势。这不仅帮助我们在实际应用中选择最适合特定需求的模型，还能够指导后续模型优化和调优工作，以期获得更高的检测准确率和速度。最终，通过这种系统化的对比和分析，我们能更好地理解模型的鲁棒性、泛化能力以及在不同类别上的检测表现，为开发更高效的计算机视觉系统提供坚实的基础。
4. 可视化系统制作：基于训练出的目标检测模型，搭配Pyqt5制作的UI界面，用python开发了一款界面简洁的软件系统，可支持图片、视频以及摄像头检测，同时可以将图片或者视频检测结果进行保存。其目的是为检测系统提供一个用户友好的操作平台，使用户能够便捷、高效地进行检测任务。

软件初始界面如下图所示：

检测结果界面如下：

一、软件核心功能介绍及效果演示

软件主要功能

1. 可用于危险驾驶行为检测与识别，分为4个检测类别：['喝饮料','吃东西','用手机','抽烟'];
2. 支持图片、视频及摄像头进行检测，同时支持图片的批量检测；
3. 界面可实时显示目标位置、目标总数、置信度、用时等信息;
4. 支持图片或者视频的检测结果保存；
5. 支持将图片的检测结果保存为csv文件;

界面参数设置说明

置信度阈值：也就是目标检测时的conf参数，只有检测出的目标框置信度大于该值，结果才会显示；
交并比阈值：也就是目标检测时的iou参数，对检测框重叠比例iou大于该阈值的目标框进行过滤【也就是说假如两检测框iou大于该值的话，会过滤掉其中一个，该值越小，重叠框会越少】；

检测结果说明

显示标签名称与置信度：表示是否在检测图片上标签名称与置信度，显示默认勾选，如果不勾选则不会在检测图片上显示标签名称与置信度；
总目标数：表示画面中检测出的目标数目；
目标选择：可选择单个目标进行位置信息、置信度查看。
目标位置：表示所选择目标的检测框，左上角与右下角的坐标位置。默认显示的是置信度最大的一个目标信息；

主要功能说明

功能视频演示见文章开头，以下是简要的操作描述。

（1）图片检测说明

点击打开图片按钮，选择需要检测的图片，或者点击打开文件夹按钮，选择需要批量检测图片所在的文件夹，操作演示如下：
点击目标下拉框后，可以选定指定目标的结果信息进行显示。
点击保存按钮，会对检测结果进行保存，存储路径为：save_data目录下,同时会将图片检测信息保存csv文件。
注：1.右侧目标位置默认显示置信度最大一个目标位置，可用下拉框进行目标切换。所有检测结果均在左下方表格中显示。

（2）视频检测说明

点击视频按钮，打开选择需要检测的视频，就会自动显示检测结果，再次点击可以关闭视频。
点击保存按钮，会对视频检测结果进行保存，存储路径为：save_data目录下。

（3）摄像头检测说明

点击打开摄像头按钮，可以打开摄像头，可以实时进行检测，再次点击，可关闭摄像头。

（4）保存图片与视频检测说明

点击保存按钮后，会将当前选择的图片【含批量图片】或者视频的检测结果进行保存，对于图片图片检测还会保存检测结果为csv文件,方便进行查看与后续使用。检测的图片与视频结果会存储在save_data目录下。
【注：暂不支持视频文件的检测结果保存为csv文件格式。】

保存的检测结果文件如下：

图片文件保存的csv文件内容如下，包括图片路径、目标在图片中的编号、目标类别、置信度、目标坐标位置。
注：其中坐标位置是代表检测框的左上角与右下角两个点的x、y坐标。

二、YOLOv5/v8/v10/11介绍

关于YOLOv5/v8/v10/v11模型的详细介绍可以参考之前分享的博客文章《YOLOv5/v8/v10/v11详细介绍：网络结构，创新点》，地址：

https://a-xu-ai.blog.csdn.net/article/details/143272589

二、模型训练、评估与推理

本文主要基于YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这4种模型进行模型的训练，训练完成后对4种模型在验证集上的表现进行全面的性能评估及对比分析。模型训练和评估流程基本一致，包括：数据集准备、模型训练、模型评估。
下面主要以最新的YOLO11为例进行训练过程的详细讲解，YOLOv5、YOLOv8与YOLOv10的训练过程类似。

1. 数据集准备与训练

通过网络上搜集关于实际场景中危险驾驶行为的相关图片，并使用Labelimg标注工具对每张图片进行标注，分4个检测类别，分别是['喝饮料','吃东西','用手机','抽烟']。
通过随机上下左右翻转、灰度处理、亮度处理等预处理手段进行了数据集的数据增强。

最终数据集一共包含6157张图片，其中训练集包含5363张图片，验证集包含524张图片，测试集包含270张图片。
部分图像及标注如下图所示：

数据集各类别数目分布情况如下：

2.模型训练

准备好数据集后，将图片数据以如下格式放置在项目目录中。在项目目录中新建datasets目录，同时将检测的图片分为训练集与验证集放入Data目录下。

同时我们需要新建一个data.yaml文件，用于存储训练数据的路径及模型需要进行检测的类别。YOLOv11在进行模型训练时，会读取该文件的信息，用于进行模型的训练与验证。data.yaml的具体内容如下：

train: D:\2MyCVProgram\2DetectProgram\DangerousDrivingBehaviorDetection_v11\datasets\Data\train
val: D:\2MyCVProgram\2DetectProgram\DangerousDrivingBehaviorDetection_v11\datasets\Data\valid
test: D:\2MyCVProgram\2DetectProgram\DangerousDrivingBehaviorDetection_v11\datasets\Data\test

nc: 4
names: ['drinking', 'eating', 'mobile use', 'smoking']

注：train与val后面表示需要训练图片的路径，建议直接写自己文件的绝对路径。
数据准备完成后，通过调用train.py文件进行模型训练，epochs参数用于调整训练的轮数，batch参数用于调整训练的批次大小【根据内存大小调整，最小为1】，optimizer设定的优化器为SGD，训练代码如下：

#coding:utf-8
from ultralytics import YOLO
import matplotlib
matplotlib.use('TkAgg')

# 模型配置文件
model_yaml_path = "ultralytics/cfg/models/11/yolo11.yaml"
#数据集配置文件
data_yaml_path = 'datasets/Data/data.yaml'
#预训练模型
pre_model_name = 'yolo11n.pt'

if __name__ == '__main__':
    #加载预训练模型
    model = YOLO(model_yaml_path).load(pre_model_name)
    #训练模型
    results = model.train(data=data_yaml_path,
                          epochs=150,      # 训练轮数
                          batch=4,         # batch大小
                          name='train_v11', # 保存结果的文件夹名称
                          optimizer='SGD') # 优化器

模型常用训练超参数参数说明：
YOLO11 模型的训练设置包括训练过程中使用的各种超参数和配置。这些设置会影响模型的性能、速度和准确性。关键的训练设置包括批量大小、学习率、动量和权重衰减。此外，优化器、损失函数和训练数据集组成的选择也会影响训练过程。对这些设置进行仔细的调整和实验对于优化性能至关重要。
以下是一些常用的模型训练参数和说明：

3. 训练结果评估

在深度学习中，我们通常用损失函数下降的曲线来观察模型训练的情况。YOLOv8在训练时主要包含三个方面的损失：定位损失(box_loss)、分类损失(cls_loss)和动态特征损失（dfl_loss），在训练结束后，可以在runs/目录下找到训练过程及结果文件，如下所示：

各损失函数作用说明：
定位损失box_loss：预测框与标定框之间的误差（GIoU），越小定位得越准；
分类损失cls_loss：计算锚框与对应的标定分类是否正确，越小分类得越准；
动态特征损失（dfl_loss）：DFLLoss是一种用于回归预测框与目标框之间距离的损失函数。在计算损失时，目标框需要缩放到特征图尺度，即除以相应的stride，并与预测的边界框计算Ciou Loss，同时与预测的anchors中心点到各边的距离计算回归DFLLoss。
本文训练结果如下：

我们通常用PR曲线来体现精确率和召回率的关系，本文训练结果的PR曲线如下。mAP表示Precision和Recall作为两轴作图后围成的面积，m表示平均，@后面的数表示判定iou为正负样本的阈值。mAP@.5：表示阈值大于0.5的平均mAP，可以看到本文模型目标检测的mAP@0.5值为0.955，结果还是很不错的。

模型验证集上的评估结果如下：

4. 使用模型进行推理

模型训练完成后，我们可以得到一个最佳的训练结果模型best.pt文件，在runs/train/weights目录下。我们可以使用该文件进行后续的推理检测。
图片检测代码如下：

#coding:utf-8
from ultralytics import YOLO
import cv2

# 所需加载的模型目录
path = 'models/best.pt'
# 需要检测的图片地址
img_path = "TestFiles/image5_png.rf.3469984b0350c705a0d8d2cb792a4f3c.jpg"

# 加载预训练模型
model = YOLO(path, task='detect')

# 检测图片
results = model(img_path)
print(results)
res = results[0].plot()
# res = cv2.resize(res,dsize=None,fx=2,fy=2,interpolation=cv2.INTER_LINEAR)
cv2.imshow("YOLOv8 Detection", res)
cv2.waitKey(0)

执行上述代码后，会将执行的结果直接标注在图片上，结果如下：

更多检测结果示例如下：

三、YOLOv5/v8/v10/11性能对比分析

本文在介绍的数据集上分别训练了YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这4种模型用于对比分析，训练轮数为150个epoch。主要分析这4种模型的训练结果在Precision（精确度）、Recall（召回率）、mAP50、mAP50-95、F1-score等性能指标上的表现，以选出更适合本数据集的最优模型。
4种模型基本信息如下：

FlOPs(floating point operations)：浮点运算次数，用于衡量算法/模型的复杂度。
params (M):表示模型的参数量

这3种模型都是各个YOLO系列种最小尺寸结构的模型，在模型参数与计算量上都相差不大，属于同一个级别的模型，因此能够进行横向的对比分析。

1.常用评估参数介绍

1. Precision（精确度）:

   • 精确度是针对预测结果的准确性进行衡量的一个指标，它定义为预测为正例（即预测为目标存在）中真正正例的比例。

   • 公式：
     

   • 其中，TP（True Positives）是正确预测为正例的数量，FP（False Positives）是错误预测为正例的数量。

2. Recall（召回率）:

   • 召回率衡量的是模型检测到所有实际正例的能力，即预测为正例的样本占所有实际正例的比例。

   • 公式：
     

   • 其中，FN（False Negatives）是错误预测为负例（即漏检）的数量。

3. mAP50（平均精度，Mean Average Precision at Intersection over Union 0.5）:

   • mAP50是目标检测中一个非常重要的指标，它衡量的是模型在IoU（交并比）阈值为0.5时的平均精度。IoU是一个衡量预测边界框与真实边界框重叠程度的指标。
   • mAP50通常在多个类别上计算，然后取平均值，得到整体的平均精度。
   • 计算方法：对于每个类别，首先计算在IoU阈值为0.5时的精度-召回率曲线（Precision-Recall Curve），然后计算曲线下的面积（AUC），最后对所有类别的AUC取平均值。

这三个指标共同提供了对目标检测模型性能的全面评估：

• 精确度（Box_P）关注预测的准确性，即减少误检（FP）。
• 召回率（Box_R）关注检测的完整性，即减少漏检（FN）。
• mAP50提供了一个平衡精确度和召回率的指标，同时考虑了模型在不同类别上的表现。

在实际应用中，根据具体需求，可能会更侧重于精确度或召回率，例如在需要减少误报的场合，可能会更重视精确度；而在需要确保所有目标都被检测到的场合，可能会更重视召回率。mAP50作为一个综合指标，能够帮助研究者和开发者平衡这两个方面，选择最合适的模型。

4. mAP50-95:

• 这是衡量目标检测模型在不同IoU阈值下性能的指标。IoU是预测的边界框与真实边界框之间的重叠程度，mAP50-95计算了从IoU为0.5到0.95的范围内，模型的平均精度。
• 精度-召回率曲线在不同的IoU阈值上绘制，然后计算曲线下的面积（AUC），最后取这些AUC的平均值，得到mAP50-95。
• 这个指标反映了模型在不同匹配严格度下的性能，对于评估模型在实际应用中的泛化能力非常重要。

5. F1分数:

   • 这是精确度和召回率的调和平均数，能够平衡两者的影响，是一个综合考虑精确度和召回率的指标。

   • 公式：
     

   • 当精确度和召回率差距较大时，F1分数能够提供一个更全面的模型性能评估。

2. 模型训练过程对比

YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这4种模型的训练过程损失曲线与性能曲线如下。
训练过程的损失曲线对比如下：

训练过程中的精确度（Precision）、召回率（Recall）、平均精确度（Mean Average Precision, mAP）等参数的对比如下：

直观的从曲线上看，4种模型在模型精度上看，差别不是很大。下面对具体的性能数值进行详细分析。

3.各模型性能评估

在YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这3种模型训练完成后，我们可以通过验证集对各个模型分别进行性能评估。
YOLOv5n模型在验证集上的性能评估结果如下：

表格列说明：

Class:表示模型的检测类别名称；
Images:表示验证集图片数目；
Instances:表示在所有图片中目标数；
P:表示精确度Precison;
R:表示召回率Recall;
mAP50：表示IoU（交并比）阈值为0.5时的平均精度。
mAP50-95：表示从IoU为0.5到0.95的范围内【间隔0.05】，模型的平均精度。

表格行说明：

第一行all，除Instances是所有类别目标数之和，其他参数表示所有类别对应列参数的平均值；
其他行，表示每一个类别对应参数的值。

YOLOv8n模型在验证集上的性能评估结果如下：

YOLOv10n模型在验证集上的性能评估结果如下：

YOLO11模型在验证集上的性能评估结果如下：

4.模型总体性能对比

下面我们从总体的平均指标上对YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这4种模型进行对比分析。
下表是YOLOv5n、YOLOv8n、YOLOv10n、YOLO11n这4不同模型目标检测结果的整体性能平均指标对比情况：

为了方便更加直观的查看与对比各个结果，同样我们将表格绘制成图表的形式进行分析。

从提供的数据中，我们可以分析并得出以下结论：

• 整体性能比较：YOLOv8n在精度（Precision）、mAP50以及mAP50-95指标上都略优于其他模型，显示出其在目标检测任务上的综合性能是最优的。
• mAP50与mAP50-95：mAP50是检测目标时准确度的指标，而mAP50-95则提供了更全面的准确度评估，因为它考虑了从50%到95%的所有IoU阈值。YOLOv8n在这两个指标上都有最好的表现，说明它在不同IoU阈值下的检测准确度是最高的。
• F1-score：F1-score是精度和召回率的调和平均数，用于评估模型的综合性能。YOLOv8n的F1-score最高，表明它在平衡精度和召回率方面表现最佳。
• 模型选择建议：如果需要一个在目标检测任务上表现最佳的模型，YOLOv8n是一个不错的选择。然而，如果YOLOv8n的某些特定方面（如速度、内存使用等）不符合项目需求，可以考虑YOLOv5n或YOLOv11n，它们在性能上也非常接近。
• YOLOv10n的性能分析：YOLOv10n在所有指标上的表现都是最低的，可能需要进一步分析其训练过程、数据集或模型结构，以确定性能不佳的原因。

综上所述，YOLOv8n在提供的指标上表现最佳，但在实际应用中，还需要考虑其他因素，如模型大小、推理速度和部署成本等。

当然，我们除了从整体的平均指标上对比之外，也可以单独对比相同类别在不同模型上的指标表现，以查看不同模型在各个类别上的优劣势。 此处不再赘述。

四、可视化系统制作

基于上述训练出的目标检测模型，为了给此检测系统提供一个用户友好的操作平台，使用户能够便捷、高效地进行检测任务。博主基于Pyqt5开发了一个可视化的系统界面，通过图形用户界面（GUI），用户可以轻松地在图片、视频和摄像头实时检测之间切换，无需掌握复杂的编程技能即可操作系统。【系统详细展示见第一部分内容】

Pyqt5详细介绍

关于Pyqt5的详细介绍可以参考之前的博客文章：《Python中的Pyqt5详细介绍：基本机构、部件、布局管理、信号与槽、跨平台》，地址：

https://a-xu-ai.blog.csdn.net/article/details/143273797

系统制作

博主基于Pyqt5框架开发了此款危险驾驶行为检测识别系统，即文中第一部分的演示内容，能够很好的支持图片、视频及摄像头进行检测，同时支持检测结果的保存。

通过图形用户界面（GUI），用户可以轻松地在图片、视频和摄像头实时检测之间切换，无需掌握复杂的编程技能即可操作系统。这不仅提升了系统的可用性和用户体验，还使得检测过程更加直观透明，便于结果的实时观察和分析。此外，GUI还可以集成其他功能，如检测结果的保存与导出、检测参数的调整，从而为用户提供一个全面、综合的检测工作环境，促进智能检测技术的广泛应用。

关于该系统涉及到的完整源码、UI界面代码、数据集、训练代码、训练好的模型、测试图片视频等相关文件，均已打包上传，感兴趣的小伙伴可以通过下载链接自行获取。

【获取方式】

本文涉及到的完整全部程序文件：包括python源码、数据集、训练好的结果文件、训练代码、UI源码、测试图片视频等（见下图），获取方式见文末：

源码：https://mbd.pub/o/author-aWWanGxlZQ==

注意：该代码基于Python3.9开发，运行界面的主程序为MainProgram.py，其他测试脚本说明见上图。为确保程序顺利运行，请按照程序运行说明文档txt配置软件运行所需环境。