音视频学习（三十）：fmp4

FMP4（Fragmented MP4）是 MP4（MPEG-4 Part 14）的扩展版本，它支持流式传输，并被广泛应用于DASH（Dynamic Adaptive Streaming over HTTP）和HLS（HTTP Live Streaming）等自适应流媒体协议。FMP4 的主要特点是将视频和音频数据拆分成片段（Fragment），以更灵活的方式进行传输和存储。

FMP4 与普通 MP4 的区别

普通 MP4 采用“单一 MOOF + MDAT”结构，文件内通常包含完整的媒体元数据（moov）和媒体数据（mdat），适用于本地播放。
而 FMP4 采用“多个 MOOF + MDAT 片段”结构，适用于流式传输，能减少初始加载时间，支持动态码率切换。

FMP4 结构

FMP4 由文件级、初始化段（Init Segment）和媒体片段（Media Fragment）组成。

文件级

整个 FMP4 文件仍然遵循 ISO BMFF（Base Media File Format）格式，基础结构包括：

• ftyp：文件类型（File Type Box）
• moov：元数据（Movie Box）
• 多个片段（Fragments）：由 moof（Movie Fragment）和 mdat（Media Data）组成的多个片段。

初始化段（Init Segment）

初始化段包含：

• ftyp：声明文件类型。
• moov：存储编解码信息、轨道信息（TrackBox）、采样表（Sample Table）等，不含实际音视频数据。

作用：初始化播放器，告知解码器如何解码后续的片段。

片段（Media Fragment）

每个片段都包含：

• moof（Movie Fragment Box）：表示一个新的片段，包含元数据，如时间戳、帧信息。
• mdat（Media Data Box）：存储实际的音视频数据。

多个 moof + mdat 片段可以连续存储或按需加载，使其适用于直播和点播流媒体。

FMP4 关键 Box 解析

ftyp（文件类型 Box）

ftyp
 ├── major_brand（主品牌，如 isom）
 ├── minor_version（次版本）
 ├── compatible_brands（兼容品牌）

示例：

00000018 66747970 69736F6D 00000200 69736F6D 61766331

这里 isom 代表 MP4 文件格式，avc1 代表 H.264 兼容。

moov（Movie Box）

• 存储文件全局信息，包括轨道信息、时长、编解码信息等。

• 主要包含 mvhd、trak、udta 等 Box。

moov
 ├── mvhd（Movie Header Box）
 ├── trak（Track Box，存储音视频轨道）
 │    ├── tkhd（Track Header Box，轨道信息）
 │    ├── mdia（Media Box，媒体信息）
 │         ├── mdhd（Media Header Box，媒体头）
 │         ├── hdlr（Handler Box，解码器类型）
 │         ├── minf（Media Information Box，采样、压缩信息）
 │              ├── stbl（Sample Table Box）
 ├── mvex（Movie Extends Box，用于分片）

作用：播放器解析 moov 后，可知道如何解码音视频数据。

moof（Movie Fragment Box）

• moof 是 FMP4 的核心，它表示一个新的片段，包含时间戳、采样信息。

• moof 结构：

moof
 ├── mfhd（Movie Fragment Header Box，片段序号）
 ├── traf（Track Fragment Box，轨道片段信息）
      ├── tfhd（Track Fragment Header Box，轨道 ID）
      ├── tfdt（Track Fragment Decode Time Box，时间戳）
      ├── trun（Track Fragment Run Box，存储帧偏移量、大小等）

作用：播放器加载 moof 后，知道这个片段的起始时间、轨道 ID，以及解码顺序。

• moof 解析示例
  • mfhd 00000001 → 片段序号 1
  • tfhd 00000001 → 轨道 ID 1
  • tfdt 00000001 → 时间戳起点 1

0000006C 6D6F6F66 00000010 6D666864 00000001
00000058 74726166 00000014 74666864 00000001
00000010 74666474 00000001 00000000

mdat（Media Data Box）

• mdat 包含真正的音视频数据帧，按 moof 指定的时间顺序排列。

mdat（Media Data）

• 示例：

0000017C 6D646174 ... (H.264/HEVC 视频帧数据)

作用：播放器解码 mdat 并播放视频。

解析示例

mp4

fmp4

FMP4 在流媒体中的应用

在 HLS 中

• 传统 HLS 使用 .ts 作为分片格式，但 ts 容量大，时延较高。
• Apple 推出了 CMAF（Common Media Application Format），支持 fMP4 作为 HLS 的片段格式，提高兼容性和性能。

示例：HLS playlist（m3u8）

#EXTM3U
#EXT-X-VERSION:7
#EXT-X-MAP:URI="init.mp4"
#EXTINF:6.000,
segment1.m4s
#EXTINF:6.000,
segment2.m4s

init.mp4 是初始化段，segment1.m4s 是 FMP4 片段。

在 DASH 中

DASH 直接支持 fMP4 作为流格式，每个片段可独立请求。

示例：DASH MPD（Media Presentation Description）

<MPD>
  <Period>
    <AdaptationSet>
      <Representation mimeType="video/mp4">
        <SegmentTemplate media="segment$Number$.m4s" initialization="init.mp4" />
      </Representation>
    </AdaptationSet>
  </Period>
</MPD>

总结

• FMP4 适用于流媒体传输，支持按片段加载，提高播放灵活性。
• 主要由 moov（初始化）和 moof + mdat（片段）组成。
• 广泛应用于 HLS（CMAF）和 DASH，降低延迟，提高兼容性。