当前位置： 首页 > article >正文

FFmpeg音视频采集

article 2025/1/23 23:37:13

文章目录

  • 音视频采集
  • 音频采集
    • 获取设备信息
    • 录制麦克风
    • 录制声卡
  • 视频采集
    • 摄像机画面采集

音视频采集

DirectShow（简称DShow）是一个Windows平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能，它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。

  • DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时，也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其他用户的DirectShow组件。
  • DirectShow专为C++而设计。Microsoft不提供用于DirectShow的托管API。
  • DirectShow是基于组件对象模型（COM）的，因此当你编写DirectShow应用程序时，你必须具备COM客户端程序编写的知识。对于大部分的应用程序，你不需要实现自己的COM对象，DirectShow提供了大部分你需要的DirectShow组件，但是假如你需要编写自己的DirectShow组件来进行扩充，那么你必须编写实现COM对象。
  • 使用DirectShow编写的典型应用程序包括：DVD播放器、视频编辑程序、AVI到ASF转换器、MP3播放器和数字视频采集应用。

音频采集

获取设备信息

void Widget::capture()
{
    avdevice_register_all(); // 注册所有的设备
    qDebug() << "注册设备完成";
    AVFormatContext *fmt_ctx = avformat_alloc_context();            // 分配一个格式上下文
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    AVDeviceInfoList *dev_list = nullptr; // 设备信息列表

    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }

    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        qDebug() << "设备名称: " << dev_list->devices[i]->device_name;
        qDebug() << "设备描述: " << dev_list->devices[i]->device_description;
        // qDebug() << "设备类型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));
        qDebug() << "------------------------";
    }
    avdevice_free_list_devices(&dev_list);
    qDebug() << "设备信息获取完成";
}

录制麦克风

void Widget::recordMicrophone()
{
    const char *output_file = "../../output/record.pcm"; // 输出文件路径
    avdevice_register_all();                             // 注册所有的设备
    AVDeviceInfoList *dev_list = nullptr;                // 设备信息列表

    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息列表失败";
        return;
    }
    std::string device_name = "audio=";
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判断设备类型是否为音频
            {
                device_name += dev_info->device_name; // 获取设备名称
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文

    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间

    AVPacket packet;                             // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录音10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录音结束";
}

通过ffplay指令播放
在这里插入图片描述

录制声卡

跟麦克风录制一样，略

视频采集

查看支持的设备信息

 ffmpeg -list_devices true -f dshow -i dummy

在这里插入图片描述

ffmpeg -f dshow -list_options true -i video="USB Camera"

在这里插入图片描述

摄像机画面采集

void Widget::recordCamera()
{
    const char *output_file = "../../output/record.yuv"; // 输出文件名
    avdevice_register_all();                             // 注册所有设备
    AVDeviceInfoList *dev_list = nullptr;
    const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式
    if (!input_fmt)
    {
        qDebug() << "找不到输入格式";
        return;
    }
    int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表
    if (ret < 0)
    {
        qDebug() << "获取设备信息失败";
        return;
    }
    std::string device_name = "video="; // 设备名称
    for (int i = 0; i < dev_list->nb_devices; i++)
    {
        AVDeviceInfo *dev_info = dev_list->devices[i];
        if (dev_info)
        {
            if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判断设备类型是否为视频
            {
                device_name += dev_info->device_name;
                break;
            }
        }
    }
    avdevice_free_list_devices(&dev_list); // 释放设备信息列表

    AVDictionary *options = nullptr;
    av_dict_set(&options, "pixel_format", "yuyv422", 0); // 设置像素格式
    av_dict_set(&options, "video_size", "1280x720", 0);  // 设置视频大小
    av_dict_set(&options, "framerate", "10", 0);         // 设置帧率

    AVFormatContext *fmt_ctx = avformat_alloc_context();                           // 分配一个格式上下文
    ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打开输入设备
    if (ret < 0)
    {
        qDebug() << "打开输入设备失败";
        return;
    }
    av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息

    std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入
    if (!output.is_open())
    {
        qDebug() << "打开输出文件失败";
        return;
    }

    auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间
    AVPacket packet;                                     // 分配一个数据包
    while (av_read_frame(fmt_ctx, &packet) >= 0)         // 读取数据包
    {
        output.write((char *)packet.data, packet.size);                                // 写入数据包
        av_packet_unref(&packet);                                                      // 释放数据包
        if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录像10秒后停止
            break;
    }
    output.close();                 // 关闭输出文件
    avformat_close_input(&fmt_ctx); // 关闭输入设备
    avformat_free_context(fmt_ctx); // 释放格式上下文
    qDebug() << "录像结束";
}

http://www.kler.cn/a/515541.html

相关文章：

  • 可扩展性设计架构模式——开闭原则
  • 如何给自己的域名配置免费的HTTPS How to configure free HTTPS for your domain name
  • Effective C++ 规则41：了解隐式接口和编译期多态
  • 计算机网络介质访问控制全攻略：从信道划分到协议详解！！！
  • Node.js HTTP模块详解：创建服务器、响应请求与客户端请求
  • Jenkins-获取build用户信息
  • 数据结构——实验二·栈
  • 2025美赛倒计时，数学建模五类模型40+常用算法及算法手册汇总
  • 【2024年华为OD机试】 (E卷,100分) - 整数编码（JavaScriptJava PythonC/C++）
  • 4.C++中的循环语句
  • 【Mac】Python相关知识经验
  • 什么是网络爬虫？Python爬虫到底怎么学？
  • TDengine 与上海电气工业互联网平台完成兼容性认证
  • PySide6的简单介绍
  • elk 安装
  • 深度学习-91-大语言模型LLM之基于langchain的模型IO的提示模板
  • 【测开】利用界面化操作存储步骤数据，为 Selenium 自动化测试提效赋能（一）
  • ubuntu k8s 1.31
  • 学习ASP.NET Core的身份认证（基于JwtBearer的身份认证9）
  • WPF5-x名称空间
  • 数据结构基础之《（16）—链表题目》
  • Spring中BeanFactory和ApplicationContext的区别
  • [Qt]系统相关-网络编程-TCP、UDP、HTTP协议
  • idea新增java快捷键代码片段
  • 基于 Python 的深度学习的车俩特征分析系统，附源码
  • 基于springboot的考研资讯平台