【嵌入式 Linux 音视频+ AI 实战项目】瑞芯微 Rockchip 系列 RK3588-基于深度学习的人脸门禁+ IPC 智能安防监控系统
前言
本文主要介绍我最近开发的一个个人实战项目，“基于深度学习的人脸门禁+ IPC 智能安防监控系统”，全程满帧流畅运行。这个项目我目前全网搜了一圈，还没发现有相关类型的开源项目。这个项目只要稍微改进下，就可以变成市面上目前流行的三款产品，人脸识别门禁系统、IPC 安防和 NVR。在最下面会有视频演示。
本项目适用于瑞芯微 Rockchip 系列的板端，如果本篇文章点赞超过 100，我将整理后开源~
功能
人脸门禁系统
- 人靠近自动亮屏，人走自动息屏
- 支持人脸识别
- 支持录入人脸，并进行人脸配对（极速配对 < 0.2S）
IPC 智能安防监控系统
- 支持通过 onvif 实时查看摄像头画面
- 支持实时目标检测（支持高达80种物体检测）
- 支持录像
- 支持检测到人时自动录像
- 支持检测到人时自动报警
用到的硬件
- 野火鲁班猫4 RK3588S2
- IMX415 800W 4k 摄像头
- RTL8822CE Wifi+BT
- mipi LCD RGB 7寸 1024×600 触摸屏
- 人体红外检测 SR501：通过 GPIO 读取相应数值，用于判断是否有人靠近
- 128×32 OLED屏：通过 I2C 通信显示画面内容，用于显示人脸检测结果
- 蓝牙音箱
用到的深度学习模型
- yolo11：用于实时目标检测
- retinaFace：用于人脸检测
- facenet：用于人脸特征提取
模型需要经过转换和量化，并且进行精度评估，如果不知道如何在 Rockchip 平台进行模型转换的同学，可以参考我这篇文章：《瑞芯微 Rockchip 系列 RK3588 主流深度学习框架模型转成 rknn 模型教程》
用到的技术栈
- C++
- RKNN：用于在 Rockchip 上进行 NPU 推理
- FFmpeg：用于音视频编解码，使用了 ffmpeg-rockchip 库进行 MPP 硬件编解码，提高编解码速度
- Opencv：用于视频帧处理
- LVGL：流行的 GUI 框架
- Bluez-Alsa：用于连接蓝牙音箱并播放音频
- Onvif：一个流行的 IP 摄像头协议标准，支持在电脑端直接查看摄像头画面，操作摄像头云台等等
线程架构图
这个项目涉及的线程较多，其中包含推理线程池、渲染线程、处理线程等待，使用了原子操作、锁、条件变量等解决了线程同步问题。
线程架构如下图所示：
如果不理解线程池概念的同学，可以参考我这篇文章：《C++ 线程池浅析》
项目演示
项目改进
由于是个人项目且时间有限，因此还存在很多可优化空间。
比如在人脸门禁系统中，可以有如下改进：
- 加入 IR 摄像头，进行活体检测
- 为人脸门禁系统加入 NFC 模块，支持通过 NFC 解锁
- 为人脸门禁系统加入指纹模块，支持通过指纹解锁
- 添加 mysql 数据库，将姓名、年龄、工号、人脸特征进行存储
- …
而在 IPC 安防摄像头系统中，可以有如下改进：
- 加入舵机云台，完善 onvif，支持远程控制云台转动
- 对 yolo11 模型进行微调，加入摔倒识别、火焰识别、打架识别等等
- 加入 IRCUT 滤光片，添加 IR 灯，实现日夜切换功能
- 加入 webrtc，实现实时对话功能
- …