音视频学习(二十四):hls协议
基本原理
HLS协议通过将视频文件切分成多个小的媒体段(通常是10秒左右的.ts文件),并通过HTTP传输给客户端。视频播放过程中,客户端按顺序请求这些小段文件来逐步播放整个视频流。HLS还支持多种码率,以便适应不同网络条件的动态调整(自适应流)。
工作流程
HLS协议的基本工作流程包含以下几个步骤:
- 视频切片:
- 视频源文件通常是一个完整的长视频。
- 视频文件被切割成若干个小的TS文件(MPEG-TS格式,通常每个视频片段持续10秒或更短)。
- 这些切片(.ts文件)被存储在服务器上。
- 生成M3U8播放列表:
- 在切片完成后,生成一个以
.m3u8
为扩展名的播放列表文件,里面包含了TS片段的URL,客户端通过这个播放列表来加载视频片段。 .m3u8
文件本质上是一个文本文件,列出了所有视频片段(或称“媒体段”)的URL地址,浏览器或播放器根据它来依次请求视频片段。- 还可以生成多种码率的M3U8文件,每种码率对应不同的网络条件。
- 在切片完成后,生成一个以
- 客户端请求和播放:
- 客户端(如HLS支持的播放器或浏览器)请求.m3u8文件,播放器读取该文件并获取其中包含的视频片段链接。
- 客户端根据当前网络状况,自动选择合适的码率进行播放。如果网络环境发生变化,播放器可以切换不同的码率流。
M3U8播放列表文件
M3U8文件是HLS的核心部分,它是一个UTF-8编码的播放列表,描述了视频段和相关的元数据。主要有两种类型的M3U8文件:
- 主播放列表(Master Playlist):列出不同码率、不同分辨率的视频流。
- 媒体播放列表(Media Playlist):每个流(一个码率)都有一个对应的媒体播放列表,列出具体的.ts文件。
基本结构
一个标准的 .m3u8
文件包含一系列以 #EXT
开头的扩展标记(例如:#EXT-X-VERSION
、#EXT-X-TARGETDURATION
等)和媒体段(视频片段)的 URL 链接。每个 .m3u8
文件包含的信息对播放流程至关重要,通常分为以下几种类型:
- 播放列表头部(Header):定义播放器需要遵循的基本规则。
- 媒体段(Media Segments):指向具体的视频片段(
.ts
文件)的链接。 - 播放列表尾部(Footer):包括结束标记等。
格式解析
头部信息
头部一般包含一些关于播放列表的全局信息,比如版本、最大时长等。
#EXTM3U
: 每个.m3u8
文件必须以这个标签开头,标识这是一个M3U播放列表。#EXT-X-VERSION:<version>
: 表示M3U8文件的版本号。版本号决定了该播放列表支持的特性。例如,#EXT-X-VERSION:3
表示使用 HLS 版本 3。#EXT-X-TARGETDURATION:<duration>
: 定义了每个媒体段的最大持续时间(单位为秒)。客户端用它来确定如何预缓存下一段内容。例如,#EXT-X-TARGETDURATION:10
表示每个段的最大持续时间为 10 秒。#EXT-X-MEDIA-SEQUENCE:<sequence_number>
: 指定媒体片段的起始序列号。每个媒体段的序号是递增的,通常从 0 开始。
媒体片段信息
每个媒体段(视频或音频片段)会在 .m3u8
文件中用 #EXTINF
标签标注,它表示该片段的持续时间(单位为秒)以及片段的文件名或URL。
#EXTINF:<duration>,
: 这个标签后跟的是该视频片段的持续时间(以秒为单位)。例如,#EXTINF:10.0,
表示该片段的持续时间为 10 秒。<media_segment_file>
: 这部分指向媒体段文件的位置,通常是.ts
文件的 URL。例如,segment1.ts
或https://example.com/segment1.ts
。
例如:
#EXTINF:10.0,
segment1.ts
#EXTINF:10.0,
segment2.ts
#EXTINF:10.0,
segment3.ts
多码率支持(自适应流)
如果是一个支持多码率(或称自适应流)的 .m3u8
文件,则会包含多个播放列表,每个播放列表对应一个不同的码率(或分辨率)的视频流。
#EXT-X-STREAM-INF:
: 这是主播放列表中的一行,标识一个子播放列表,并提供了相关的编码信息(如码率、分辨率等)。BANDWIDTH=<bandwidth>
: 指定该流的带宽需求,通常是以比特为单位。例如,BANDWIDTH=800000
表示这个流的带宽是 800 Kbps。RESOLUTION=<width>x<height>
: 指定视频的分辨率,例如RESOLUTION=1920x1080
。
主播放列表文件会列出不同码率、不同分辨率的子播放列表链接。例如:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-STREAM-INF:BANDWIDTH=800000,RESOLUTION=640x360
low_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=1400000,RESOLUTION=1280x720
medium_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=2800000,RESOLUTION=1920x1080
high_quality.m3u8
结束标记
#EXT-X-ENDLIST
: 这个标记表示播放列表的结束,特别用于点播(VOD)场景,表明媒体播放列表已结束,后续没有更多的媒体段。
加密与内容保护
#EXT-X-KEY
: 用于指定加密信息,提供加密内容的密钥信息。例如,HLS支持AES-128加密,文件中的加密信息可以指定密钥的位置等:
示例
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXT-X-STREAM-INF:BANDWIDTH=800000,RESOLUTION=640x360
low_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=1400000,RESOLUTION=1280x720
medium_quality.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=2800000,RESOLUTION=1920x1080
high_quality.m3u8
低码率流 (low_quality.m3u8
) 示例:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10.0,
segment1.ts
#EXTINF:10.0,
segment2.ts
#EXTINF:10.0,
segment3.ts
#EXT-X-ENDLIST
常见的 .m3u8扩展标签
-
#EXT-X-DISCONTINUITY
: 标记媒体段之间的时间戳或编码格式的不连续性。通常在不同的编码流之间使用。 -
#EXT-X-PROGRAM-DATE-TIME
: 指定播放列表中某个时间点的实际日期和时间。 -
#EXT-X-ALLOW-CACHE:<YES|NO>
: 指定客户端是否可以缓存媒体文件。
hls的特性
-
自适应流:HLS支持多个不同码率的视频流,客户端根据当前带宽情况自动切换最佳码率,提供更好的观看体验。
-
跨平台支持:HLS是基于HTTP协议,因此可以通过任何支持HTTP的客户端播放。它也得到广泛的浏览器和设备的支持(如iOS、Android、macOS、Windows等)。
-
实时直播支持:HLS协议不仅支持视频点播(VOD),还可以支持实时直播流。
-
广泛的CDN兼容性:因为HLS使用HTTP协议,它可以很容易地通过内容分发网络(CDN)进行分发,确保高效的视频传输。
-
内容保护:HLS支持加密流,提供了对视频内容的保护,确保视频播放时不会被未经授权的用户访问。
hls的特点
优点:
- 易于部署:HLS通过HTTP进行流媒体传输,几乎可以与任何Web服务器兼容,并且不需要特定的协议或协议支持。
- 广泛支持:由于它是由苹果公司提出的,因此特别适用于iOS和macOS设备。此外,越来越多的浏览器和设备也支持HLS。
- 自适应比特率:根据网络条件动态调整视频质量,避免播放卡顿。
缺点:
- 延迟较高:HLS的延迟相对较高,尤其是实时直播场景中。通常会有15到30秒的延迟,虽然可以通过减少每段视频的长度来降低延迟,但代价是增加了请求次数和带宽消耗。
- 效率问题:相比其他协议(如DASH),HLS的传输效率相对较低,特别是在高清和超高清视频内容中。
- 视频切片的管理:在需要快速变化的直播场景中,视频切片的管理和更新可能会带来额外的复杂性。
HLS与其他流媒体协议对比
与RTMP(Real-Time Messaging Protocol):
- HLS协议更适合基于HTTP传输的流媒体应用,并且具有较高的可扩展性。而RTMP主要用于低延迟的直播,通常在直播场景下使用较多。
- HLS的延迟比RTMP要高。
与DASH(Dynamic Adaptive Streaming over HTTP):
- DASH协议类似于HLS,也是基于HTTP的自适应流传输协议。DASH的优势是开源、标准化,且支持更细粒度的控制,但在设备兼容性上可能不如HLS广泛。
常见应用
-
视频点播(VOD):HLS非常适合点播视频内容,特别是在需要跨多个平台(如iOS、Android、Web等)播放时。
-
实时直播:通过HLS进行直播时,可以将直播内容分割成多个小片段,逐步传输给观众。
-
视频监控:在一些视频监控应用中,HLS可以作为一种流媒体传输协议,用于将实时视频传输到监控平台或服务器。