FFmpeg库之ffmpeg

ffmpeg命令行使用

ffmpeg是一个通用的媒体转换器。它可以读取各种输入（包括实时抓取/录制设备），对其进行过滤，并将它们转码为多种输出格式。

语法格式：

ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url}...

基本命令

选择流 -map选项

-map选项用于手动控制每个输出文件中的流选择。用户可以跳过-map，让ffmpeg执行如下所述的自动流选择。-vn/-an/-sn/-dn选项可用于分别跳过包含视频、音频、字母和数据流。

使用格式如下：

-map 文件索引位置：流索引位置
-map 文件索引位置：流的类型
-map 文件索引位置：流的类型：流的索引位置

流类型：

• a 表示音频流
• v 表示视频流
• s 表示字幕流
• d 表示数据流
• t 表示附件六
  注意：索引位置从0开始

在特定输出文件没有任何映射选项的情况下，ffmpeg检查输出格式以检查哪种类型的流可以包含在其中，即视频，音频或字母。对于每个可接受的流类型，ffmpeg将从所有输入中选择一个可用的流。
它将根据以下标准选择该流：

• 对于视频来说，它是分辨率最高的流媒体
• 对于音频，它是具有最多通道的流
• 对于字母，这是找到的第一个字幕流，但有一个警告，输出的格式的默认字幕编码器可以是基于文本的，也可以是基于图像的，并且只会选择相同类型的字幕流
• 在相同类型的多个流速率相等的情况下，选择索引最低的流
  注意：数据或附件流不会自动选择，只能使用-map包含

例如：假设有如下几个视频文件

input file 'A.avi'
		stream 0: video 640x360
		stream 1: audio 2 channels

input file 'B.mp4'
		stream 0: video 1920x1080
		stream 1: audio 2 channels
		stream 2: subtitles (text)
		stream 3: audio 5.1 channels
		stream 4: subtitles (text)

input file 'C.mkv'
		stream 0: video 1280x720
		stream 1: audio 2 channels
		stream 2: subtitles (image)

执行如下命令
ffmpeg -i A.avi -i B.mp4 out1.mkv out2.wav -map 1:a -c:a copy out3.mov

指定了3个输出文件，对于前2个，没有设置-map选项，因此ffmpeg将自动为这两个文件选择流（会选择最好的那个流）。
out1.mkv是一个Matroska容器文件，它接受视频、音频和字幕流，因此ffmpeg将尝试在每种类型中选择一种。
对于视频，它将从B.mp4中选择流0，它所在所有输入视频流中具有最高的分辨率。
对于音频，它将从B.mp4中选择流3，因为它有最多的通道。
对于字幕，它将从B.mp4中选择流2，这是A.avi和B.mp4之间的第一个字幕流。
out2.wav只接受音频流，所以只选择B.mp4的流3。
out3.Mov，由于设置了-map选项，因此不会发生自动流选择。-map 1:a选项将选择来自第二个输入B.mp4的所有音频流。此输出文件中不会包含其他流。
对于前两个输出，所有包含的流都将被转码。所选择的编码器将是每个输出格式注册的默认编码器，它可能与所选输入流的编码器不匹配。
对于第三个速出，音频流的编解码器选项已经设置为复制，因此不会发生或可能发生解码-过滤-编码操作。所选流的数据包应从输入文件传送，并在输出文件中进行混合。

主要命令

实例：

1. 从视频中分离音频
   
   执行完后生成了aac文件
   
   2.把上述音频改成mp3,并限制到3秒结束
   

视频选项

音频选项

多媒体格式转换

滤镜

简单过滤图是指只有一个输入和输出且类型相同的过滤图。它们可以通过在解码和编码之间插入一个额外的步骤来表示：

 _________                        ______________
|         |                      |              |
| decoded |                      | encoded data |
| frames  |\                   _ | packets      |
|_________| \                  /||______________|
             \   __________   /
  simple     _\||          | /  encoder
  filtergraph   | filtered |/
                | frames   |
                |__________|

简单的过滤器图配置有每个流-筛选选项（与-vf和-af分别为视频和音频的别名）。一个简单的视频过滤图可以如下所示：

 _______        _____________        _______        ________
|       |      |             |      |       |      |        |
| input | ---> | deinterlace | ---> | scale | ---> | output |
|_______|      |_____________|      |_______|      |________|

请注意，某些过滤器会更改框架属性，但不会更改框架内容。例如， fps上例中的过滤器更改帧数，但不触及帧内容。另一个例子是setpts过滤器，它只设置时间戳，否则不改变地传递帧。

复杂的过滤器图不能简单地描述为应用于一个流的线性处理链。例如，当图具有多个输入和/或输出时，或者当输出流类型与输入不同时，就会出现这种情况。它们可以用下图表示:```

 _________
|         |
| input 0 |\                    __________
|_________| \                  |          |
             \   _________    /| output 0 |
              \ |         |  / |__________|
 _________     \| complex | /
|         |     |         |/
| input 1 |---->| filter  |\
|_________|     |         | \   __________
               /| graph   |  \ |          |
              / |         |   \| output 1 |
 _________   /  |_________|    |__________|
|         | /
| input 2 |/
|_________|

复杂的过滤图配置为-filter_complex选项。请注意，此选项是全局的，因为复杂的过滤器图本质上不能与单个流或文件明确关联。

-lavfi选项相当于-filter_complex。

复杂过滤器图的一个简单示例是overlay过滤器，它具有两个视频输入和一个视频输出，其中一个视频叠加在另一个视频之上。它的音频对应部分是amix滤波器。

裁剪

-vf crop=ow[:oh[:x[:y[:keep_aspect]]]]

• -vf：使用视频滤镜
• ow：输出视频的宽度
• oh：输出视频的高度
• x：指定裁剪的位置x
• y：指定裁剪的位置y
• keep_aspect：是否保持纵横比

例如：指定从（100，200）位置，保持纵横比，裁剪大小为640x480

 ffmpeg -i .\video-30fps.MP4 -vf crop=640:480:100:200:0 裁剪.mp4

加水印

ffmpeg -i 输入文件路径 -vf drawtext:"fontsize=字体大小:fontfile=字体文件路径：text="水印内容":fontcolor=字体颜色:x=字体位置:y=字体位置" 输出文件路径

#例如
ffmpeg -i .\裁剪.mp4 -vf drawtext="fontfile=SIMLI.TTF: text='你好，世界！':fontcolor=red:x=200:y=300:fontsize=50" 水印.mp4

画中画

ffmpeg -i 输入文件路径 -vf movie="画中画视频文件路径,scale=缩放大小[sub];[in][sub]overlay=x=位置：y=位置[out]" 输出文件位置
#例如
ffmpeg -i .\video-60fps.MP4 -vf movie="水印.mp4, scale=320x240[sub];[in][sub]overlay=x=100:y=150[out]" 画中画.mp4

录制

windows需要安装dshow软件，才能录制系统声音。以下命令只针对windows

查看可用的录制设备

ffmpeg -list_devices true -f dshow -i dummy

查看录制设备选项参数

ffmpeg -f dshow -list_options true -i 类型="设备名称"
#例如
查看摄像头参数
ffmpeg -f dshow -list_options true -i video="USB Camera"
查看麦克风参数
ffmpeg -f dshow -list_options true -i audio="麦克风 (Realtek(R) Audio)"
查看桌面录制参数
ffmpeg -f gdigrab -list_options true -i desktop

录制桌面

录制整个桌面
ffmpeg -f gdigrab -i desktop -pix_fmt 图像格式 输出路径
#例如
ffmpeg -f gdigrab -i desktop 桌面录制.mp4

录制指定区域
ffmpeg -r 帧率 -f gdigrab -s 分辨率 -offset_x 宽度偏移量 -offset_y 高度偏移量 -i desktop -vcodec 编码器名称 文件路径
#例如
ffmpeg -f gdigrab -i desktop -s 800x600 -offset_x 100 -offset_y 200  桌面录制2.mp4

录制窗口

ffmpeg -f gdigrab -i title="窗口名称" 输出路径

由于大多数程序隐藏了原来的边框，录制出来经常是黑屏

录制摄像头

ffmpeg -f dshow -i video="摄像设备名称" 输出路径

#例如
ffmpeg -f dshow -i video="USB Camera" 摄像头录制.mp4

录制麦克风

ffmpeg -f dshow -i audio="麦克风 (Realtek(R) Audio)" 麦克风录制.mp3

录制系统声音

ffmpeg -f dshow -i audio="立体声混音 (Realtek(R) Audio)" 麦克风录制2.mp3
# audio=的是声卡设备名称

同时录制桌面和麦克风

ffmpeg -f gdigrab -i desktop -f dshow -i audio="麦克风 (Realtek(R) Audio)" 桌面加麦克风.mp4

直播

推流

直播推流需要先开启服务器

ffmpeg -re -i 输入文件路径 -c copy -f flv rtmp地址
#例如
ffmpeg -re -i video.mp4 -c copy -f flv rtmp://127.0.0.1:1935/live/room
#然后用ffplay观看直播

拉流

ffmpeg -i rtmp地址 -c copy 输出文件路径
#例如 
ffmpeg -i rtmp://ns8.indexforce.com/home/mystream -c copy 拉流.flv
#播放拉到的内容
ffplay .\拉流.flv -x 800 -y 600