当前位置: 首页 > article >正文

Webrtc音频模块(四) 音频采集

音频的采集还是封装在AudioDeviceWindowsCore中,相关的Core Audio API接口是下面几个:

IAudioClient* _ptrClientIn
IAudioCaptureClient* _ptrCaptureClient
rtc::scoped_refptr<IMediaObject> _dmo
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer

音频的采集一样的通过Core Audio API实现,上面的_ptrClientIn_ptrCaptureClient就是采集接口对象。_dmo是DMO接口对象,_mediaBuffer是它使用的buffer接口对象,它们也用于采集。

webrtc中实现两种模式的音频采集

  • 通过IAudioCaptureClient,通过_ptrClientIn_ptrCaptureClient实现。
  • 通过IMediaObject从DMO取音频数据,通过_dmo实现。

这篇文章只介绍通过DMO的方式采集音频数据。

DMO

DMO 是 DirectX Media Object,看一看官方说明,如下:

DirectX Media Objects (DMOs) are COM-based multimedia and data-streaming components. In some respects, DMOs are similar to DirectShow filters. Like DirectShow filters, DMOs take input data and use it to produce output data. As the APIs for DMOs are much simpler than the corresponding APIs for DirectShow, they are easier to create, test, and use. For encoding/decoding, audio capture, audio processing and video processing effects, Microsoft encourages developers to write a DMO instead of a DirectShow filter.

它是一个COM组件,用来处理音视频数据,在webrtc中使用了音频处理功能。
一些高档的麦克风,很多都标注提供了回声消除,降噪等功能,通过DMO就可以利用这些硬件提供的功能。

Webrtc中使用DMO

AudioDeviceWinodwsCode中与DMO相关的变量是下面三个:

rtc::scoped_refptr<IMediaObject> _dmo;
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer;
bool _builtInAecEnabled;

一个是DMO的COM接口对象,一个是用于从DMO取数据的Buffer接口,一个是否使用DMO的使能标志。

默认情况下_builIntAecEnabled为true,音频的采集将会从DMO中取处理后的音频数据,通过IMediaBuffer接口取数据。

初始化代码可以看看AudioDeviceWindowsCore::InitRecordingDMO()中的实现。在AudioDeviceWindowsCore::InitRecordingDMO()中,会设置DMO的数据输出的格式,用的也是前面介绍过的WAVEFORMATEX结构来描述音频的参数。

在AudioDeviceWindowsCore::SetDMOProperties()方法中,设置了DMO要开启的音频处理功能,webrtc会使用DMO的回声消除,降噪音频处理功能。

从DMO中取数据

音频的采集就是从DMO中取经过处理后的音频数据,它包括以下几步:

  1. 需要创建一个IMediaBuffer接口对象的实例。
  2. 将DMO_OUPUT_DATA_BUFFER中pBuffer成员指向自己的Buffer。
  3. 将DMO_OUPUT_DATA_BUFFER对象传给IMediaObject的ProcessOutPut接口。
  4. 调用IMediaObject的GetBufferAndLength接口来获取数据。

DMO数据采集线程实现DoCaptureThreadPollDMO,如下流程:
在这里插入图片描述


http://www.kler.cn/a/449074.html

相关文章:

  • 制造研发企业与IPD管理体系
  • 怎么实现柔性动态自适应IVR功能
  • 相机雷达外参标定综述“Automatic targetless LiDAR–camera calibration: a survey“
  • 高级的SQL查询技巧有哪些?
  • 如何使用vscode解决git冲突
  • 三元和二元序列出现的频率降序病可视化条形图——统计excel某个分组列
  • [SWPUCTF 2022 新生赛]什锦
  • linux网络 | 序列化反序列化的概念 与 结合网络计算器深度理解
  • Ubuntu概述
  • MySQL面试学习笔记(全)
  • 指数退避算法
  • Java-10
  • 04 Django模型基础
  • 怎么提取音频保存到本地?电脑音频提取方法
  • Laya ios接入goole广告,开始接入 2
  • 【CMD常用命令】
  • HBU深度学习手写作业11-LSTM
  • 读书笔记~管理修炼-缄默效应
  • Flink SQL 支持 kafka 开启 kerberos 权限控制.
  • MySQL 数据库连接数查询、配置
  • GraalVM完全指南:云原生时代下使用GraalVM将Spring Boot 3应用转换为高效Linux可执行文件
  • 【微信小程序】2|轮播图 | 我的咖啡店-综合实训
  • 服务器建立-错误:pyenv环境建立后python版本不对
  • 如何解决 ‘adb‘ 不是内部或外部命令,也不是可运行的程序或批处理文件的问题
  • 观成科技:轻量级内网穿透工具natpass加密流量分析
  • Qt中的异步相关类