HLS协议之m3u8和ts流格式详解

m3u8 文件格式详解

简介

M3U8 是 Unicode 版本的 M3U，用 UTF-8 编码。"M3U" 和 "M3U8" 文件都是苹果公司使用的 HTTP Live Streaming（HLS）协议格式的基础，这种协议格式可以在 iPhone 和 Macbook 等设备播放。

上述文字定义来自于维基百科。可以看到，m3u8 文件其实是 HTTP Live Streaming（缩写为 HLS）协议的部分内容，而 HLS 是一个由苹果公司提出的基于 HTTP 的流媒体网络传输协议。

HLS 的工作原理是把整个流分成一个个小的基于 HTTP 的文件来下载，每次只下载一些。当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时，客户端会下载一个包含元数据的 extended M3U (m3u8) playlist文件，用于寻找可用的媒体流。
HLS 只请求基本的 HTTP 报文，与实时传输协议（RTP）不同，HLS 可以穿过任何允许 HTTP 数据通过的防火墙或者代理服务器。它也很容易使用内容分发网络来传输媒体流。

简而言之，HLS 是新一代流媒体传输协议，其基本实现原理为将一个大的媒体文件进行分片，将该分片文件资源路径记录于 m3u8 文件（即 playlist）内，其中附带一些额外描述（比如该资源的多带宽信息···）用于提供给客户端。客户端依据该 m3u8 文件即可获取对应的媒体资源，进行播放。

因此，客户端获取 HLS 流文件，主要就是对 m3u8 文件进行解析操作。

那么，下面就简单介绍下 m3u8 文件。

M3U8 文件简介

m3u8 文件实质是一个播放列表（playlist），其可能是一个媒体播放列表（Media Playlist），或者是一个主列表（Master Playlist）。但无论是哪种播放列表，其内部文字使用的都是 utf-8 编码。

当 m3u8 文件作为媒体播放列表（Meida Playlist）时，其内部信息记录的是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。其格式如下所示：

#EXTM3U
#EXT-X-TARGETDURATION:10

#EXTINF:9.009,
http://media.example.com/first.ts
#EXTINF:9.009,
http://media.example.com/second.ts
#EXTINF:3.003,
http://media.example.com/third.ts

对于点播来说，客户端只需按顺序下载上述片段资源，依次进行播放即可。而对于直播来说，客户端需要 定时重新请求 该 m3u8 文件，看下是否有新的片段数据需要进行下载并播放。

当 m3u8 作为主播放列表（Master Playlist）时，其内部提供的是同一份媒体资源的多份流列表资源（Variant Stream）。其格式如下所示：

#EXTM3U
#EXT-X-STREAM-INF:BANDWIDTH=150000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/low/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=240000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/lo_mid/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=440000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/hi_mid/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=640000,RESOLUTION=640x360,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/high/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=64000,CODECS="mp4a.40.5"
http://example.com/audio/index.m3u8

该备用流资源指定了多种不同码率，不同格式的媒体播放列表，并且，该备用流资源也可同时提供不同版本的资源内容，比如不同语言的音频文件，不同角度拍摄的视屏文件等等。客户可以根据不同的网络状态选取合适码流的资源，并且最好根据用户喜好选择合适的资源内容。

更多详细内容，可查看：

以上，就是 m3u8 文件的大概内容。下面，我们就对 m3u8 内容格式进行讲解。

m3u8 文件格式简解

m3u8 的文件格式主要包含三方面内容：

文件播放列表格式定义：播放列表（Playlist，也即 m3u8 文件）内容需严格满足规范定义所提要求。下面罗列一些主要遵循的条件：

m3u8 文件必须以 utf-8 进行编码，不能使用 Byte Order Mark（BOM）字节序，不能包含 utf-8 控制字符（U+0000 ~ U_001F 和 U+007F ~ u+009F）。
m3u8 文件的每一行要么是一个 URI，要么是空行，要么就是以 # 开头的字符串。不能出现空白字符，除了显示声明的元素。
m3u8 文件中以 # 开头的字符串要么是注释，要么就是标签。标签以 #EXT 开头，大小写敏感。

属性列表（Attribute Lists）：某些特定的标签的值为属性列表。标签后面的属性列表以逗号作为分隔符，分离出多组不带空格的 属性/值 对。
属性/值 对的语法格式如下：

AttributeName=AttributeValue

其中：

属性AttributeName是由 [A..Z],[0..9] 和 - 组成的不带引号的字符串。因此，属性AttributeName只能使用大写字母，不能使用小写字母，并且AttributeName和=中间不能有空格，同理，=和AttributeValue之间也不能有空格。
值AttributeValue的只能取以下类型：
- 十进制整型（decimal-interger）：由 [0..9] 之间组成的十进制不带引号的字符串，范围为 $0$ ~ $2^{64}$ （18446744073709551615），字符长度为 1 ~ 20 之间。
- 十六进制序列：由 [0..9] 和 [A..F] 且前缀为 0x 或 0X 组合成的不带引号的字符串。其序列的最大长度取决于他的属性名AttributeNames。
- 带符号十进制浮点型（signed-decimal-floating-point）：由 [0..9]，-和.组合成的不带引号的字符串。
- 字符串（quoted-string）：由双引号包裹表示的字符串。其中，0xA，0xD 和双引号"不能出现在该字符串中。该字符串区分大小写。
- 可枚举字符串（enumerated-string）：由AttributeName显示定义的一系列不带引号的字符串。该字符串不能包含双引号"，逗号,和空白字符。
- decimal-resolution：由字符x进行隔离的两个十进制整型数。第一个整型表示水平宽度大小，第二个整型数表示垂直方向高度大小（单位：像素）。

标签：标签用于指定 m3u8 文件的全局参数或在其后面的切片文件/媒体播放列表的一些信息。

标签的类型可分为五种类型：基础标签（Basic Tags），媒体片段类型标签（Media Segment Tags），媒体播放列表类型标签，主播放列表类型标签 和 播放列表类型标签。其具体内容如下所示：

基础标签（Basic Tags）：可同时适用于媒体播放列表（Media Playlist）和主播放列表（Master Playlist）。具体标签如下：
- EXTM3U：表明该文件是一个 m3u8 文件。每个 M3U 文件必须将该标签放置在第一行。
- EXT-X-VERSION：表示 HLS 的协议版本号，该标签与流媒体的兼容性相关。该标签为全局作用域，使能整个 m3u8 文件；每个 m3u8 文件内最多只能出现一个该标签定义。如果 m3u8 文件不包含该标签，则默认为协议的第一个版本。
媒体片段类型标签（Media Segment Tags）：每个切片 URI 前面都有一系列媒体片段标签对其进行描述。有些片段标签只对其后切片资源有效；有些片段标签对其后所有切片都有效，直到后续遇到另一个该标签描述。媒体片段类型标签不能出现在主播放列表（Master Playlist）中。具体标签如下：
- EXTINF：表示其后 URL 指定的媒体片段时长（单位为秒）。每个 URL 媒体片段之前必须指定该标签。该标签的使用格式为：
```
#EXTINF:<duration>,[<title>]
```
  其中：
  - duration：可以为十进制的整型或者浮点型，其值必须小于或等于 EXT-X-TARGETDURATION 指定的值。
    注：建议始终使用浮点型指定时长，这可以让客户端在定位流时，减少四舍五入错误。但是如果兼容版本号 EXT-X-VERSION 小于 3，那么必须使用整型。
- EXT-X-BYTERANGE：该标签表示接下来的切片资源是其后 URI 指定的媒体片段资源的局部范围（即截取 URI 媒体资源部分内容作为下一个切片）。该标签只对其后一个 URI 起作用。其格式为：
```
#EXT-X-BYTERANGE:<n>[@<o>]
```
  其中：
  - n是一个十进制整型，表示截取片段大小（单位：字节）。
  - 可选参数o也是一个十进制整型，指示截取起始位置（以字节表示，在 URI 指定的资源开头移动该字节位置后进行截取）。
    如果o未指定，则截取起始位置从上一个该标签截取完成的下一个字节（即上一个n+o+1）开始截取。
    如果没有指定该标签，则表明的切分范围为整个 URI 资源片段。
    注：使用 EXT-X-BYTERANGE 标签要求兼容版本号 EXT-X-VERSION 大于等于 4。
- EXT-X-DISCONTINUITY：该标签表明其前一个切片与下一个切片之间存在中断。其格式为：
```
#EXT-X-DISCONTINUITY
```
  当以下任一情况变化时，必须使用该标签：
  - 文件格式（file format）
  - 数字（number），类型（type），媒体标识符（identifiers of tracks）
  - 时间戳序列（timestamp sequence）
  当以下任一情况变化时，应当使用该标签：
  - 编码参数（encoding parameters）
  - 编码序列（encoding sequence）
  注：EXT-X-DISCONTINUITY 的一个经典使用场景就是在视屏流中插入广告，由于视屏流与广告视屏流不是同一份资源，因此在这两种流切换时使用 EXT-X-DISCONTINUITY 进行指明，客户端看到该标签后，就会处理这种切换中断问题，让体验更佳。
  更多详细内容，请查看：Incorporating Ads into a Playlist
- EXT-X-KEY：媒体片段可以进行加密，而该标签可以指定解密方法。
  该标签对所有 媒体片段 和由标签 EXT-X-MAP 声明的围绕其间的所有 媒体初始化块（Meida Initialization Section） 都起作用，直到遇到下一个 EXT-X-KEY（若 m3u8 文件只有一个 EXT-X-KEY 标签，则其作用于所有媒体片段）。
  多个 EXT-X-KEY 标签如果最终生成的是同样的秘钥，则他们都可作用于同一个媒体片段。
  该标签使用格式为：
```
#EXT-X-KEY:<attribute-list>
```
  属性列表可以包含如下几个键：
  - METHOD：该值是一个可枚举的字符串，指定了加密方法。
    该键是必须参数。其值可为NONE，AES-128，SAMPLE-AES当中的一个。
    其中：
    NONE：表示切片未进行加密（此时其他属性不能出现）；
    AES-128：表示表示使用 AES-128 进行加密。
    SAMPLE-AES：意味着媒体片段当中包含样本媒体，比如音频或视频，它们使用 AES-128 进行加密。这种情况下 IV 属性可以出现也可以不出现。
  - URI：指定密钥路径。
    该密钥是一个 16 字节的数据。
    该键是必须参数，除非 METHOD 为NONE。
  - IV：该值是一个 128 位的十六进制数值。
    AES-128 要求使用相同的 16字节 IV 值进行加密和解密。使用不同的 IV 值可以增强密码强度。
    如果属性列表出现 IV，则使用该值；如果未出现，则默认使用媒体片段序列号（即 EXT-X-MEDIA-SEQUENCE）作为其 IV 值，使用大端字节序，往左填充 0 直到序列号满足 16 字节（128 位）。
  - KEYFORMAT：由双引号包裹的字符串，标识密钥在密钥文件中的存储方式（密钥文件中的 AES-128 密钥是以二进制方式存储的16个字节的密钥）。
    该属性为可选参数，其默认值为"identity"。
    使用该属性要求兼容版本号 EXT-X-VERSION 大于等于 5。
  - KEYFORMATVERSIONS：由一个或多个被/分割的正整型数值构成的带引号的字符串（比如："1"，"1/2"，"1/2/5"）。
    如果有一个或多特定的 KEYFORMT 版本被定义了，则可使用该属性指示具体版本进行编译。
    该属性为可选参数，其默认值为"1"。
    使用该属性要求兼容版本号 EXT-X-VERSION 大于等于 5。
- EXT-X-MAP：该标签指明了获取媒体初始化块（Meida Initialization Section）的方法。
  该标签对其后所有媒体片段生效，直至遇到另一个 EXT-X-MAP 标签。
  其格式为：
```
#EXT-X-MAP:<attribute-list>
```
  其属性列表取值范围如下：
  - URI：由引号包裹的字符串，指定了包含媒体初始化块的资源的路径。该属性为必选参数。
  - BYTERANGE：由引号包裹的字符串，指定了媒体初始化块在 URI 指定的资源的位置（片段）。
    该属性指定的范围应当只包含媒体初始化块。
    该属性为可选参数，如果未指定，则表示 URI 指定的资源就是全部的媒体初始化块。
- EXT-X-PROGRAM-DATE-TIME：该标签使用一个绝对日期/时间表明第一个样本片段的取样时间。
  其格式为：
```
#EXT-X-PROGRAM-DATE-TIME:<date-time-msec>
```
  其中，date-time-msec是一个 ISO/IEC 8601:2004 规定的日期格式，形如：YYYY-MM-DDThh:mm:ss.SSSZ。
- EXT-X-DATERANGE：该标签定义了一系列由属性/值对组成的日期范围。
  其格式为：
```
#EXT-X-DATERANGE:<attribute-list>
```
  其属性列表取值如下：
  - ID：双引号包裹的唯一指明日期范围的标识。
    该属性为必选参数。
  - CLASS：双引号包裹的由客户定义的一系列属性与与之对应的语意值。
    所有拥有同一 CLASS 属性的日期范围必须遵守对应的语意。
    该属性为可选参数。
  - START-DATE：双引号包裹的日期范围起始值。
    该属性为必选参数。
  - END-DATE：双引号包裹的日期范围结束值。
    该属性值必须大于或等于 START-DATE。
    该属性为可选参数。
  - DURATION：日期范围的持续时间是一个十进制浮点型数值类型（单位：秒）。
    该属性值不能为负数。
    当表达立即时间时，将该属性值设为 0 即可。
    该属性为可选参数。
  - PLANNED-DURATION：该属性为日期范围的期望持续时长。
    其值为一个十进制浮点数值类型（单位：秒）。
    该属性值不能为负数。
    在预先无法得知真实持续时长的情况下，可使用该属性作为日期范围的期望预估时长。
    该属性为可选参数。
- X-<client-attribute>：X-前缀是预留给客户端自定义属性的命名空间。
  客户端自定义属性名时，应当使用反向 DNS（reverse-DNS）语法来避免冲突。
  自定义属性值必须是使用双引号包裹的字符串，或者是十六进制序列，或者是十进制浮点数，比如：X-COM-EXAMPLE-AD-ID="XYZ123"。
  该属性为可选参数。
- SCTE35-CMD, SCTE35-OUT, SCTE35-IN：用于携带 SCET-35 数据。
  该属性为可选参数。
- END-ON-NEXT：该属性值为一个可枚举字符串，其值必须为YES。
  该属性表明达到该范围末尾，也即等于后续范围的起始位置 START-DATE。后续范围是指具有相同 CLASS 的，在该标签 START-DATE 之后的具有最早 START-DATE 值的日期范围。
  该属性时可选参数。
媒体播放列表类型标签：媒体播放列表标签为 m3u8 文件的全局参数信息。
这些标签只能在 m3u8 文件中至多出现一次。
媒体播放列表（Media Playlist）标签不能出现在主播放列表（Master Playlist）中。
媒体播放列表具体标签如下所示：
- EXT-X-TARGETDURATION：表示每个视频分段最大的时长（单位秒）。
  该标签为必选标签。
  其格式为：
```
#EXT-X-TARGETDURATION:<s>
```
  其中：参数s表示目标时长（单位：秒）。
- EXT-X-MEDIA-SEQUENCE：表示播放列表第一个 URL 片段文件的序列号。
  每个媒体片段 URL 都拥有一个唯一的整型序列号。
  每个媒体片段序列号按出现顺序依次加 1。
  如果该标签未指定，则默认序列号从 0 开始。
  媒体片段序列号与片段文件名无关。
  其格式为：
```
#EXT-X-MEDIA-SEQUENCE:<number>
```
  其中：参数number即为切片序列号。
- EXT-X-DISCONTINUITY-SEQUENCE：该标签使能同步相同流的不同 Rendition 和具备 EXT-X-DISCONTINUITY 标签的不同备份流。
  其格式为：
```
#EXT-X-DISCONTINUITY-SEQUENCE:<number>
```
  其中：参数number为一个十进制整型数值。
  如果播放列表未设置 EXT-X-DISCONTINUITY-SEQUENCE 标签，那么对于第一个切片的中断序列号应当为 0。
- EXT-X-ENDLIST：表明 m3u8 文件的结束。
  该标签可出现在 m3u8 文件任意位置，一般是结尾。
  其格式为：
```
#EXT-X-ENDLIST
```
- EXT-X-PLAYLIST-TYPE：表明流媒体类型。全局生效。
  该标签为可选标签。
  其格式为：
```
#EXT-X-PLAYLIST-TYPE:<type-enum>
```
  其中：type-enum可选值如下：
  - VOD：即 Video on Demand，表示该视屏流为点播源，因此服务器不能更改该 m3u8 文件；
  - EVENT：表示该视频流为直播源，因此服务器不能更改或删除该文件任意部分内容（但是可以在文件末尾添加新内容）。
    注：VOD 文件通常带有 EXT-X-ENDLIST 标签，因为其为点播源，不会改变；而 EVEVT 文件初始化时一般不会有 EXT-X-ENDLIST 标签，暗示有新的文件会添加到播放列表末尾，因此也需要客户端定时获取该 m3u8 文件，以获取新的媒体片段资源，直到访问到 EXT-X-ENDLIST 标签才停止）。
- EXT-X-I-FRAMES-ONLY：该标签表示每个媒体片段都是一个 I-frame。I-frames 帧视屏编码不依赖于其他帧数，因此可以通过 I-frame 进行快速播放，急速翻转等操作。
  该标签全局生效。
  其格式为：
```
#EXT-X-I-FRAMES-ONLY
```
  如果播放列表设置了 EXT-X-I-FRAMES-ONLY，那么切片的时长（EXTINF 标签的值）即为当前切片 I-frame 帧开始到下一个 I-frame 帧出现的时长。
  媒体资源如果包含 I-frame 切片，那么必须提供媒体初始化块或者通过 EXT-X-MAP 标签提供媒体初始化块的获取途径，这样客户端就能通过这些 I-frame 切片以任意顺序进行加载和解码。
  如果 I-frame 切片设置了 EXT-BYTERANGE，那么就绝对不能提供媒体初始化块。
  使用 EXT-X-I-FRAMES-ONLY 要求的兼容版本号 EXT-X-VERSION 大于等于 4。
主播放列表类型标签：主播放列表（Master Playlist）定义了备份流，多语言翻译流和其他全局参数。
主播放列表标签绝不能出现在媒体播放列表（Media Playlist）中。
其具体标签如下：
- EXT-X-MEDIA：用于指定相同内容的可替换的多语言翻译播放媒体列表资源。
  比如，通过三个 EXT-X-MEIDA 标签，可以提供包含英文，法语和西班牙语版本的相同内容的音频资源，或者通过两个 EXT-X-MEDIA 提供两个不同拍摄角度的视屏资源。
  其格式为：
```
#EXT-X-MEDIA:<attribute-list>
```
  其中，属性列表取值范围如下：
  - TYPE：该属性值为一个可枚举字符串。
    其值有如下四种：AUDIO，VIDEO，SUBTITLES，CLOSED-CAPTIONS。
    通常使用的都是CLOSED-CAPTIONS。
    该属性为必选参数。
  - URI：双引号包裹的媒体资源播放列表路径。
    如果 TYPE 属性值为 CLOSED-CAPTIONS，那么则不能提供 URI。
    该属性为可选参数。
  - GROUP-ID：双引号包裹的字符串，表示多语言翻译流所属组。
    该属性为必选参数。
  - LANGUAGE：双引号包裹的字符串，用于指定流主要使用的语言。
    该属性为可选参数。
  - ASSOC-LANGUAGE：双引号包裹的字符串，其内包含一个语言标签，用于提供多语言流的其中一种语言版本。
    该参数为可选参数。
  - NAME：双引号包裹的字符串，用于为翻译流提供可读的描述信息。
    如果设置了 LANGUAGE 属性，那么也应当设置 NAME 属性。
    该属性为必选参数。
  - DEFAULT：该属性值为一个可枚举字符串。
    可选值为YES和NO。
    该属性未指定时默认值为NO。
    如果该属性设为YES，那么客户端在缺乏其他可选信息时应当播放该翻译流。
    该属性为可选参数。
  - AUTOSELECT：该属性值为一个可枚举字符串。
    其有效值为YES或NO。
    未指定时，默认设为NO。
    如果该属性设置YES，那么客户端在用户没有显示进行设置时，可以选择播放该翻译流，因为其能配置当前播放环境，比如系统语言选择。
    如果设置了该属性，那么当 DEFAULT 设置YES时，该属性也必须设置为YES。
    该属性为可选参数。
  - FORCED：该属性值为一个可枚举字符串。
    其有效值为YES或NO。
    未指定时，默认设为NO。
    只有在设置了 TYPE 为 SUBTITLES 时，才可以设置该属性。
    当该属性设为YES时，则暗示该翻译流包含重要内容。当设置了该属性，客户端应当选择播放匹配当前播放环境最佳的翻译流。
    当该属性设为NO时，则表示该翻译流内容意图用于回复用户显示进行请求。
    该属性为可选参数。
  - INSTREAM-ID：由双引号包裹的字符串，用于指示切片的语言（Rendition）版本。
    当 TYPE 设为 CLOSED-CAPTIONS 时，必须设置该属性。
    其可选值为："CC1", "CC2", "CC3", "CC4" 和 "SERVICEn"（n的值为 1~63）。
    对于其他 TYPE 值，该属性绝不能进行设置。
  - CHARACTERISTICS：由双引号包裹的由一个或多个由逗号分隔的 UTI 构成的字符串。
    每个 UTI 表示一种翻译流的特征。
    该属性可包含私有 UTI。
    该属性为可选参数。
  - CHANNELS：由双引号包裹的有序，由反斜杠/分隔的参数列表组成的字符串。
    所有音频 EXT-X-MEDIA 标签应当都设置 CHANNELS 属性。
    如果主播放列表包含两个相同编码但是具有不同数目 channed 的翻译流，则必须设置 CHANNELS 属性；否则，CHANNELS 属性为可选参数。
- EXT-X-STREAM-INF：该属性指定了一个备份源。该属性值提供了该备份源的相关信息。
  其格式为：
```
#EXT-X-STREAM-INF:<attribute-list>
<URI>
```
  其中：
  - URI 指定的媒体播放列表携带了该标签指定的翻译备份源。
    URI 为必选参数。
  - EXT-X-STREAM-INF 标签的参数属性列表有如下选项：
    - BANDWIDTH：该属性为每秒传输的比特数，也即带宽。代表该备份流的巅峰速率。
      该属性为必选参数。
    - AVERAGE-BANDWIDTH：该属性为备份流的平均切片传输速率。
      该属性为可选参数。
    - CODECS：双引号包裹的包含由逗号分隔的格式列表组成的字符串。
      每个 EXT-X-STREAM-INF 标签都应当携带 CODECS 属性。
    - RESOLUTION：该属性描述备份流视屏源的最佳像素方案。
      该属性为可选参数，但对于包含视屏源的备份流建议增加该属性设置。
    - FRAME-RATE：该属性用一个十进制浮点型数值作为描述备份流所有视屏最大帧率。
      对于备份流中任意视屏源帧数超过每秒 30 帧的，应当增加该属性设置。
      该属性为可选参数，但对于包含视屏源的备份流建议增加该属性设置。
    - HDCP-LEVEL：该属性值为一个可枚举字符串。
      其有效值为TYPE-0或NONE。
      值为TYPE-0表示该备份流可能会播放失败，除非输出被高带宽数字内容保护（HDCP）。
      值为NONE表示流内容无需输出拷贝保护。
      使用不同程度的 HDCP 加密备份流应当使用不同的媒体加密密钥。
      该属性为可选参数。在缺乏 HDCP 可能存在播放失败的情况下，应当提供该属性。
    - AUDIO：属性值由双引号包裹，其值必须与定义在主播放列表某处的设置了 TYPE 属性值为 AUDIO 的 EXT-X-MEDIA 标签的 GROUP-ID 属性值相匹配。
      该属性为可选参数。
    - VIDEO：属性值由双引号包裹，其值必须与定义在主播放列表某处的设置了 TYPE 属性值为 VIDEO 的 EXT-X-MEDIA 标签的 GROUP-ID 属性值相匹配。
      该属性为可选参数。
    - SUBTITLES：属性值由双引号包裹，其值必须与定义在主播放列表某处的设置了 TYPE 属性值为 SUBTITLES 的 EXT-X-MEDIA 标签的 GROUP-ID 属性值相匹配。
      该属性为可选参数。
    - CLOSED-CAPTIONS：该属性值可以是一个双引号包裹的字符串或NONE。
      如果其值为一个字符串，则必须与定义在主播放列表某处的设置了 TYPE 属性值为 CLOSED-CAPTIONS 的 EXT-X-MEDIA 标签的 GROUP-ID 属性值相匹配。
      如果其值为NONE，则所有的 ext-x-stream-inf 标签必须同样将该属性设置NONE，表示主播放列表备份流均没有关闭的标题。对于某个备份流具备关闭标题，另一个备份流不具备关闭标题可能会触发播放中断。
      该属性为可选参数。
- EXT-X-I-FRAME-STREAM-INF：该标签表明媒体播放列表文件包含多种媒体资源的 I-frame 帧。
  其格式为：
```
#EXT-X-I-FRAME-STREAM-INF:<attribute-list>
```
  该标签的属性列表包含了 EXT-X-I-FRAME-STREAM-INF 标签同样的属性列表选项，除了 FRAME-RATE，AUDIO，SUBTITLES 和 CLOSED-CAPTIONS。除此之外，其他的属性还有：
  - URI：该属性值由双引号包裹的字符串，指示了 I-frame 媒体播放列表文件的路径，该媒体播放列表文件必须包含 EXT-X-I-FRAMES-ONLY 标签。
- EXT-X-SESSION-DATA：该标签允许主播放列表携带任意 session 数据。
  该标签为可选参数。
  其格式为：
```
#EXT-X-SESSION-DATA:<attribute-list>
```
  其中，其参数属性列表值如下可选项:
  - DATA-ID：由双引号包裹的字符串，代表一个特定的数据值。
    该属性应当使用反向 DNS 进行命名，如"com.example.movie.title"。然而，由于没有中央注册机构，所以可能出现冲突情况。
    该属性为必选参数。
  - VALUE：该属性值为一个双引号包裹的字符串，其包含 DATA-ID 指定的值。
    如果设置了 LANGUAGE，则 VALUE 应当包含一个用该语言书写的可读字符串。
  - URI：由双引号包裹的 URI 字符串。由该 URI 指示的资源必选使用 JSON 格式，否则，客户端可能会解析失败。
  - LANGUAGE：由双引号包裹的，包含一个语言标签的字符串。指示了 VALUE 所使用的语言。

EXT-X-SESSION-KEY：该标签允许主播放列表（Master Playlist）指定媒体播放列表（Meida Playlist）的加密密钥。这使得客户端可以预先加载这些密钥，而无需从媒体播放列表中获取。
该标签为可选参数。
其格式为：
```
#EXT-X-SESSION-KEY:<attribute-list>
```
其属性列表与 EXT-X-KEY 相同，除了 METHOD 属性的值必须不为NONE。

播放列表类型标签：以下标签可同时设置于主播放列表（Master Playlist）和媒体播放列表（Media Playlist）中。
但是对于在主播放列表中设置了的标签，不应当再次设置在主播放列表指向的媒体播放列表中。
同时出现在两者播放列表的相同标签必须具备相同的值。这些标签在播放列表中不能出现多次（只能使用一次）。具体标签如下所示：
- EXT-X-INDEPENDENT-SEGMENTS：该标签表明对于一个媒体片段中的所有媒体样本均可独立进行解码，而无须依赖其他媒体片段信息。
  该标签对列表内所有媒体片段均有效。
  其格式为：
```
#EXT-X-INDEPENDENT-SEGMENTS
```
  如果该标签出现在主播放列表中，则其对所有媒体播放列表的所有媒体片段都生效。
- EXT-X-START：该标签表示播放列表播放起始位置。
  默认情况下，客户端开启一个播放会话时，应当使用该标签指定的位置进行播放。
  该标签为可选标签。
  其格式为：
```
#EXT-X-START:<attribute-list>
```
  其参数属性列表的取值范围如下：
  - TIME-OFFSET：该属性值为一个带符号十进制浮点数（单位：秒）。
    一个正数表示以播放列表起始位置开始的时间偏移量。
    一个负数表示播放列表上一个媒体片段最后位置往前的时间偏移量。
    该属性的绝对值应当不超过播放列表的时长。如果超过，则表示到达文件结尾（数值为正数），或者达到文件起始（数值为负数）。
    如果播放列表不包含 EXT-X-ENDLIST 标签，那么 TIME-OFFSET 属性值不应当在播放文件末尾三个切片时长之内。
  - PRECISE：该值为一个可枚举字符串。
    有效的取值为YES 或 NO。
    如果值为YES，客户端应当播放包含 TIME-OFFSET 的媒体片段，但不要渲染该块内优先于 TIME-OFFSET 的样本块。
    如果值为NO，客户端应当尝试渲染在媒体片段内的所有样本块。
    该属性为可选参数，未指定则认为NO。

到此，m3u8 相关的标签我们已经完全介绍完毕。

下面我们再简单介绍下资源文件的获取具体操作。

上文提到，m3u8 文件要么是媒体播放列表（Meida Playlist），要么是主播放列表（Master Playlist）。但无论是哪种列表，其有效内容均由两部分结构组成：

以 #EXT 开头的为标签信息，作为对媒体资源的进一步描述；
剩余的为资源信息，要么是片段资源（Media Playlist）路径，要么是 m3u8 资源（Master Playlist）路径；

我们先简单介绍下 m3u8 文件媒体片段的表示方法：

m3u8 文件中，媒体片段可以采用全路径表示。如下所示：

#EXTINF:10.0,
http://example.com/movie1/fileSequenceA.ts

这样，获取资源片段的路径就是 m3u8 文件内指定的路径，即：http://example.com/movie1/fileSequenceA.ts

m3u8 文件中，媒体片段还可以使用相对路径表示。如下所示：

#EXTINF:10.0,
fileSequenceA.ts

这表示片段文件的路径是相对于 m3u8 文件路径的，即假设当前 m3u8 的路径为：https://127.0.0.1/hls/m3u8，那么，片段文件 fileSequenceA.ts 的路径即为：https://127.0.0.1/hls/fileSequenceA.ts

尽管可以在 m3u8 文件中使用绝对路径指定媒体片段资源路径，但是更好的选择是使用相对路径。相对路径相较于绝对路径更轻便，同时是相对于 m3u8 文件的 URL。相比之下，绝对路径增加了 m3u8 文件内容（更多字符），增大了文件内容，同时也增大了网络传输量。

其余一些注意事项

有两种请求 m3u8 播放列表的方法：一是通过 m3u8 的 URI 进行请求，则该文件必须以 .m3u8 或 .m3u 结尾；
二是通过 HTTP 进行请求，则请求头Content-Type必须设置为 application/vnd.apple.mpegurl或者audio/mpegurl。
空行和注释行在解析时都忽略。
媒体播放列表（Media Playlist）的流资源总时长就是各切片资源的时长之和。
每个切片的码率（bit rate）就是切片的大小除以它对应的时长（EXTINF 指定的时长）。
一个标签的属性列表的同一个属性AttributeName只能出现一次。
EXT-X-TARGETDURATION 指定的时长绝对不能进行更改。通常该值指定的时长为 10 秒。
对于指定了 EXT-X-I-FRAMES-ONLY 且第一个媒体片段（或者第一个尾随 EXT-X-DISCONTINUITY 的片段）其资源没有立即携带媒体初始化块的切片，应当增加使用标签 EXT-X-MAP 指定媒体初始化块获取途径。
使用 EXT-X-MAP 标签内含标签 EXT-X-I-FRAMES-ONLY 要求的兼容版本号 EXT-X-VERSION 要大于等于 5；只使用 EXT-X-MAP 要求的兼容版本号要大于等于 6。
由标签 EXT-X-MAP 声明的媒体初始化块可使用 AES-128 方法进行加密，此时，作用于 EXT-X-MAP 标签的 EXT-X-KEY 标签必须设置 IV 属性。
带有属性 END-ON-NEXT=YES 的标签 EXT-X-DATERANGE 必须携带 CLASS 属性，但不能携带 DURATION 和 END-DATE 属性。其余带有相同 CLASS 的标签 EXT-X-DATERANGE 不能指定重叠的日期范围。
日期范围如果未指明 DURATION，END_DATE,END-ON-NEXT=YES 属性时，则其时长（duration）未知，即使其设置了 PLANNED-DURATION 属性。
如果播放列表设置了 EXT-X-DATERANGE 标签，则必须同时设置 EXT-X-PROGRAM-DATE-TIME 标签。
如果播放列表设置了拥有相同 ID 属性值的两个 EXT-X-DATERANGE 标签，则对于相同的属性名，在这两个 EXT-X-DATERANGE 中对应的值必须一致。
如果 EXT-X-DATERANGE 同时设置了 DURATION 和 END-DATE 属性，则 END-DATE 属性值必须等于 START-DATE 属性值加上 DURATION 属性值。
EXT-X-MEDIA-SEQUENCE 标签必须出现在播放列表第一个切片之前。
EXT-X-DISCONTINUITY-DEQUENCE 标签必须出现在播放列表第一个切片之前。
EXT-X-DISCONTINUITY-DEQUENCE 标签必须出现在任意 EXT-X-DISCONTINUITY 标签之前。
m3u8 文件如果没有设置 EXT-X-PLAYLIST-TYPE 标签，那么播放列表可以随时进行更改。比如，可以更新或删除播放列表中的媒体片段。
每个 EXT-X-I-FRAME-STREAM-INF 标签必须包含一个 BANDWIDTH 和 URI 属性。
每个 EXT-X-SESSION-DATA 标签都必须包含一个 VALUE 或 URI 属性，但不能同时包含两者。
一个播放列表可以包含多个携带相同 DATA-ID 属性的 EXT-X-SESSION-DATA 标签。但是不能包含多个携带相同 DATA-ID 和相同 LANGUAGE 属性的 EXT-X-SESSION-DATA 标签。
如果设置了 EXT-X-SESSION-KEY，那么其 METHOD，KEYFORMAT 和 KEYFORMATVERSIONS 属性值必须与任意相同 URI 的 EXT-X-KEY 标签值相同。
如果多份备用流或者多语言流使用相同的加密密钥和格式，则应当设置 EXT-X-SESSION-KEY 标签。
主播放列表必须不能设置多个具有相同 METHOD，URI，IV，KEYFORMAT 和 KEYFORMATVERSIONS 属性值得 EXT-X-SESSION-KEY 标签。

附录

出处：https://www.jianshu.com/p/e97f6555a070

=======================================================================================

HLS协议之m3u8及ts流格式详解

HLS，Http Live Streaming 是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。

1、M3U8文件

用文本方式对媒体文件进行描述，由一系列标签组成。

#EXTM3U

#EXT-X-TARGETDURATION:5

#EXTINF:5,

./0.ts

#EXTINF:5,

./1.ts

#EXTM3U：每个M3U8文件第一行必须是这个tag。

#EXT-X-TARGETDURATION：指定最大的媒体段时间长度（秒），#EXTINF中指定的时间长度必须小于或等于这个最大值。该值只能出现一次。

#EXTINF：描述单个媒体文件的长度。后面为媒体文件，如./0.ts

2、ts文件

ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。

ts文件分为三层：ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层就是在pes层加入数据流的识别和传输必须的信息

注：详解如下

（1）ts层 ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。

ts header

sync_byte	8b	同步字节，固定为0x47
transport_error_indicator	1b	传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常都为0，这个字节算在adapt域长度内
payload_unit_start_indicator	1b	负载单元起始标示符，一个完整的数据包开始时标记为1
transport_priority	1b	传输优先级，0为低优先级，1为高优先级，通常取0
pid	13b	pid值
transport_scrambling_control	2b	传输加扰控制，00表示未加密
adaptation_field_control	2b	是否包含自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。
continuity_counter	4b	递增计数器，从0-f，起始值不一定取0，但必须是连续的

ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。

PAT表：他主要的作用就是指明了PMT表的PID值。
PMT表：他主要的作用就是指明了音视频流的PID值。
音频流/视频流：承载音视频内容。

adaption

adaptation_field_length	1B	自适应域长度，后面的字节数
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。
stuffing_bytes	xB	填充字节，取值0xff

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。

PAT格式

table_id	8b	PAT表固定为0x00
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
transport_stream_id	16b	传输流ID，固定为0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	1b	固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
开始循环
program_number	16b	节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PMT
reserved	3b	固定为111
PID	13b	节目号对应内容的PID值
结束循环
CRC32	32b	前面数据的CRC32校验码

PMT格式

table_id	8b	PMT表取值随意，0x02
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
program_number	16b	频道号码，表示当前的PMT关联到的频道，取值0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	1b	固定为1
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
reserved	3b	固定为111
PCR_PID	13b	PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
reserved	4b	固定为1111
program_info_length	12b	节目描述信息，指定为0x000表示没有
开始循环
stream_type	8b	流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03
reserved	3b	固定为111
elementary_PID	13b	与stream_type对应的PID
reserved	4b	固定为1111
ES_info_length	12b	描述信息，指定为0x000表示没有
结束循环
CRC32	32b	前面数据的CRC32校验码

（2）pes层

pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。

pes start code	3B	开始码，固定为0x000001
stream id	1B	音频取值（0xc0-0xdf），通常为0xc0 视频取值（0xe0-0xef），通常为0xe0
pes packet length	2B	后面pes数据的长度，0表示长度不限制，只有视频数据长度会超过0xffff
flag	1B	通常取值0x80，表示数据不加密、无优先级、备份的数据
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	后面数据的长度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。

音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。

举例说明：

I P B B B P

读取顺序： 1 2 3 4 5 6

dts顺序： 1 2 3 4 5 6

pts顺序： 1 5 3 2 4 6

点播视频dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是帧率，比如23、30。

pts和dts是以timescale为单位的，1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。

用一帧的timescale除以采样频率就可以转换为一帧的播放时长

点播音频dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame这个值与编解码相关，aac取值1024，mp3取值1158，audio_sample_rate是采样率，比如24000、41000。AAC一帧解码出来是每声道1024个sample，也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播视频的dts和pts应该直接用直播数据流中的时间，不应该按公式计算。

（3）es层

es层指的就是音视频数据，我们只介绍h.264视频和aac音频。

h.264视频：

打包h.264数据我们必须给视频数据加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定为0x00000001（帧开始）或0x000001（帧中）。h.264的数据是由slice组成的，slice的内容包括：视频、sps、pps等。nalu type决定了后面的h.264数据内容。

F	1b	forbidden_zero_bit，h.264规定必须取0
NRI	2b	nal_ref_idc，取值0~3，指示这个nalu的重要性，I帧、sps、pps通常取3，P帧通常取2，B帧通常取0
Type	5b	参考下表

nal_unit_type	说明
0	未使用
1	非IDR图像片，IDR指关键帧
2	片分区A
3	片分区B
4	片分区C
5	IDR图像片，即关键帧
6	补充增强信息单元(SEI)
7	SPS序列参数集
8	PPS图像参数集
9	分解符
10	序列结束
11	码流结束
12	填充
13~23	保留
24~31	未使用

红色字体显示的内容是最常用的，打包es层数据时pes头和es数据之间要加入一个type=9的nalu，关键帧slice前必须要加入type=7和type=8的nalu，而且是紧邻。

出处：https://blog.csdn.net/cheng448208985/article/details/54618323

posted on 2021-07-02 09:06 jack_Meng 阅读(6924) 评论(0) 编辑收藏举报

刷新页面返回顶部

Jack_孟