RV1126+FFMPEG推流项目(1)总体框架讲解

音视频推流项目的讲解

1. 项目介绍

本项目通过 RV1126 采集摄像头和麦克风数据，采用 H.264/H.265 视频编码技术和 AAC 音频编码技术进行压缩和合成复合流，然后推送到流媒体服务器。

1. 项目框图

下图展示了整个项目的总体流程图，核心部分包括：

暂时无法在飞书文档外展示此内容

2.1 视频采集与编码

• 使用 RV1126 的 API 对 CMOS 摄像头 进行采集，并进行 H.264/H.265 编码。

• 编码后的视频数据存放到 视频编码队列。

2.2 音频采集与编码

• 使用 RV1126 的 API 对 麦克风 进行采集，并进行 AAC 编码。

• 编码后的音频数据存放到 音频编码队列。

2.3 音视频流合成与推流

• 利用 FFmpeg 的 API，对视频和音频数据进行 时间戳对齐。

• 从视频队列和音频队列中分别取出数据，合成复合流，并推送到流媒体服务器。

1. 每个源代码模块的讲解

3.1 rv1126_ffmpeg_main.cpp (主模块代码)

• 该模块的主要功能是 初始化所有模块，包括：

  • 初始化 FFmpeg 合成模块。

  • 初始化 音视频编码队列。

  • 初始化 RV1126 VI、VENC、AI、AENC 模块。

  • 启动线程进行音视频推流。

3.2 rkmedia_assignment_manage.cpp (任务管理模块)

• 管理 RV1126 上的各个任务。主要任务是创建并管理三个线程：

  • 视频编码线程 (camera_venc_thread)。

  • 音频编码线程 (audio_aenc_thread)。

  • 音视频合成推流线程 (push_server_thread)。

3.3 rkmedia_data_process.cpp (数据处理模块)

• 实现了三个线程的具体功能：

  • 视频编码线程：处理视频编码和数据存储。

  • 音频编码线程：处理音频编码和数据存储。

  • 音视频合成并推流线程：将音视频数据进行合成并推送到服务器。

3.4 rkmedia_module_function.cpp (功能模块开发)

• 包含以下功能的实现：

  • VI模块 初始化。

  • VENC模块 初始化。

  • AI模块 初始化。

  • AENC模块 初始化。

• 初始化后绑定设备节点，为推流做准备。

3.5 rkmedia_module.cpp (任务功能模块)

• 实现了 3.4 中的具体功能：

  • 初始化 VI模块、VENC模块、AI模块、AENC模块。

3.6 rkmedia_container.cpp (容器管理模块)

• 主要功能是保存 VI 和 AI 初始化的设备节点，供多线程使用。

3.7 rkmedia_ffmpeg_config.cpp (FFmpeg合成模块)

• 该模块实现了 FFmpeg 合成模块的初始化：

  • 初始化 FFmpeg 复合器。

  • 配置 流地址 初始化。

3.8 ffmpeg_video_queue.cpp (视频编码队列实现)

• 负责管理 视频编码队列，包括：

  • 视频队列的创建、添加、删除等操作。

3.9 ffmpeg_audio_queue.cpp (音频编码队列实现)

• 负责管理 音频编码队列，包括：

  • 音频队列的创建、添加、删除等操作。

3.10 rv1126_isp_function.cpp (ISP功能模块)

• 实现了 RV1126 ISP模块 的功能初始化