多媒体封装格式详解---MP4

MP4文件格式详解——结构概述

http://blog.csdn.net/pirateleo/article/details/7061452

一、基本概念

1、 文件，由许多Box和FullBox组成。

2、 Box，每个Box由Header和Data组成。

3、 FullBox，是Box的扩展，Box结构的基础上在Header中增加8bits version和24bits flags。

4、 Header，包含了整个Box的长度size和类型type。当size==0时，代表这是文件中最后一个Box；当size==1时，意 味着Box长度需要更多bits来描述，在后面会定义一个64bits的largesize描述Box的长度；当type是uuid时，代表Box中的数 据是用户自定义扩展类型。

5、 Data，是Box的实际数据，可以是纯数据也可以是更多的子Boxes。

6、 当一个Box的Data中是一系列子Box时，这个Box又可成为Container Box。

结构如下图：

 

                                                                                             文件基本结构描述图

 

1、  ftypbox，在文件的开始位置，描述的文件的版本、兼容协议等；

2、  moovbox，这个box中不包含具体媒体数据，但包含本文件中所有媒体数据的宏观描述信息，moov box下有mvhd和trak box。

        >>mvhd中记录了创建时间、修改时间、时间度量标尺、可播放时长等信息。

        >>trak中的一系列子box描述了每个媒体轨道的具体信息。

3、  moofbox，这个box是视频分片的描述信息。并不是MP4文件必须的部分，但在我们常见的可在线播放的MP4格式文件中（例如Silverlight Smooth Streaming中的ismv文件）确是重中之重。

4、  mdatbox，实际媒体数据。我们最终解码播放的数据都在这里面。

5、  mfrabox，一般在文件末尾，媒体的索引文件，可通过查询直接定位所需时间点的媒体数据。

附：Smooth Streaming中ismv文件结构，文件分为了多个Fragments，每个Fragment中包含moof和mdat。这样的结构符合渐进式播放需求。（mdat及其描述信息逐步传输，收齐一个Fragment便可播放其中的mdat）。

    /* Set other implicit flags immediately */
    if (mov->mode == MODE_ISM)
        mov->flags |= FF_MOV_FLAG_EMPTY_MOOV | FF_MOV_FLAG_SEPARATE_MOOF |
                      FF_MOV_FLAG_FRAGMENT;

 


 

 

 

static int mov_read_ftyp(MOVContext *c, AVIOContext *pb, MOVAtom atom)
{
    uint32_t minor_ver;
    int comp_brand_size;
    char minor_ver_str[11]; /* 32 bit integer -> 10 digits + null */
    char* comp_brands_str;
    uint8_t type[5] = {0};

    avio_read(pb, type, 4);
    if (strcmp(type, "qt  "))
        c->isom = 1;
    av_log(c->fc, AV_LOG_DEBUG, "ISO: File Type Major Brand: %.4s\n",(char *)&type);
    av_dict_set(&c->fc->metadata, "major_brand", type, 0);
    minor_ver = avio_rb32(pb); /* minor version */
    snprintf(minor_ver_str, sizeof(minor_ver_str), "%"PRIu32"", minor_ver);
    av_dict_set(&c->fc->metadata, "minor_version", minor_ver_str, 0);

    comp_brand_size = atom.size - 8;
    if (comp_brand_size < 0)
        return AVERROR_INVALIDDATA;
    comp_brands_str = av_malloc(comp_brand_size + 1); /* Add null terminator */
    if (!comp_brands_str)
        return AVERROR(ENOMEM);
    avio_read(pb, comp_brands_str, comp_brand_size);
    comp_brands_str[comp_brand_size] = 0;
    av_dict_set(&c->fc->metadata, "compatible_brands", comp_brands_str, 0);
    av_freep(&comp_brands_str);

    return 0;
}

 

 

二、MP4文件格式（ISO-14496-12/14）

MP4文件概述

MP4文件就是由各式各样的Box组成的，下表中列出了所有必选或可选的Box类型，√代表Box必选。


具体列表：

 

ftyp

 

 

 

 

 

√ 

file type and compatibility

pdin

 

 

 

 

 

 

progressive download information

moov

 

 

 

 

 

√ 

container for all the metadata

 

mvhd

 

 

 

 

√ 

movie header, overall declarations

 

trak

 

 

 

 

√ 

container for an individual track or stream

 

 

tkhd

 

 

 

√ 

track header, overall information about the track

 

 

tref

 

 

 

 

track reference container

 

 

edts

 

 

 

 

edit list container

 

 

 

elst

 

 

 

an edit list

 

 

mdia

 

 

 

√ 

container for the media information in a track

 

 

 

mdhd

 

 

√ 

media header, overall information about the media

 

 

 

hdlr

 

 

√ 

handler, declares the media (handler) type

 

 

 

minf

 

 

√ 

media information container

 

 

 

 

vmhd

 

 

video media header, overall information (video track only)

 

 

 

 

smhd

 

 

sound media header, overall information (sound track only)

 

 

 

 

hmhd

 

 

hint media header, overall information (hint track only)

 

 

 

 

nmhd

 

 

Null media header, overall information (some tracks only)

 

 

 

 

dinf

 

√ 

data information box, container

 

 

 

 

 

dref

√ 

data reference box, declares source(s) of media data in track

 

 

 

 

stbl

 

√ 

sample table box, container for the time/space map

 

 

 

 

 

stsd

√ 

sample descriptions (codec types, initialization etc.)

 

 

 

 

 

stts

√  

(decoding) time-to-sample

 

 

 

 

 

ctts

 

(composition) time to sample

 

 

 

 

 

stsc

√ 

sample-to-chunk, partial data-offset

information

 

 

 

 

 

stsz

 

sample sizes (framing)

 

 

 

 

 

stz2

 

compact sample sizes (framing)

 

 

 

 

 

stco

√ 

chunk offset, partial data-offset information

 

 

 

 

 

co64

 

64-bit chunk offset

 

 

 

 

 

stss

 

sync sample table (random access points)

 

 

 

 

 

stsh

 

shadow sync sample table

 

 

 

 

 

padb

 

sample padding bits

 

 

 

 

 

stdp

 

sample degradation priority

 

 

 

 

 

sdtp

 

independent and disposable samples

 

 

 

 

 

sbgp

 

sample-to-group

 

 

 

 

 

sgpd

 

sample group description

 

 

 

 

 

subs

 

sub-sample information

 

mvex

 

 

 

 

 

movie extends box

 

 

mehd

 

 

 

 

movie extends header box

 

 

trex

 

 

 

√ 

track extends defaults

 

ipmc

 

 

 

 

 

IPMP Control Box

moof

 

 

 

 

 

 

movie fragment

 

mfhd

 

 

 

 

√ 

movie fragment header

 

traf

 

 

 

 

 

track fragment

 

 

tfhd

 

 

 

√ 

track fragment header

 

 

trun

 

 

 

 

track fragment run

 

 

sdtp

 

 

 

 

independent and disposable samples

 

 

sbgp

 

 

 

 

sample-to-group

 

 

subs

 

 

 

 

sub-sample information

mfra

 

 

 

 

 

 

movie fragment random access

 

tfra

 

 

 

 

 

track fragment random access

 

mfro

 

 

 

 

√ 

movie fragment random access offset

mdat

 

 

 

 

 

 

media data container

free

 

 

 

 

 

 

free space

skip

 

 

 

 

 

 

free space

 

udta

 

 

 

 

 

user-data

 

 

cprt

 

 

 

 

copyright etc.

meta

 

 

 

 

 

 

metadata

 

hdlr

 

 

 

 

√ 

handler, declares the metadata (handler) type

 

dinf

 

 

 

 

 

data information box, container

 

 

dref

 

 

 

 

data reference box, declares source(s) of metadata items

 

ipmc

 

 

 

 

 

IPMP Control Box

 

iloc

 

 

 

 

 

item location

 

ipro

 

 

 

 

 

item protection

 

 

sinf

 

 

 

 

protection scheme information box

 

 

 

frma

 

 

 

original format box

 

 

 

imif

 

 

 

IPMP Information box

 

 

 

schm

 

 

 

scheme type box

 

 

 

schi

 

 

 

scheme information box

 

iinf

 

 

 

 

 

item information

 

xml

 

 

 

 

 

XML container

 

bxml

 

 

 

 

 

binary XML container

 

pitm

 

 

 

 

 

primary item reference

 

fiin

 

 

 

 

 

file delivery item information

 

 

paen

 

 

 

 

partition entry

 

 

 

fpar

 

 

 

file partition

 

 

 

fecr

 

 

 

FEC reservoir

 

 

segr

 

 

 

 

file delivery session group

 

 

gitn

 

 

 

 

group id to name

 

 

tsel

 

 

 

 

track selection

meco

 

 

 

 

 

 

additional metadata container

 

mere

 

 

 

 

 

metabox relation

正式开始前先对文件的几个重要部分宏观介绍一下，以便诸位在后续学习时心中有数：

1、  ftypbox，在文件的开始位置，描述的文件的版本、兼容协议等；

2、  moovbox，这个box中不包含具体媒体数据，但包含本文件中所有媒体数据的宏观描述信息，moov box下有mvhd和trak box。

        >>mvhd中记录了创建时间、修改时间、时间度量标尺、可播放时长等信息。

        >>trak中的一系列子box描述了每个媒体轨道的具体信息。

3、  moofbox，这个box是视频分片的描述信息。并不是MP4文件必须的部分，但在我们常见的可在线播放的MP4格式文件中（例如Silverlight Smooth Streaming中的ismv文件）确是重中之重。

4、  mdatbox，实际媒体数据。我们最终解码播放的数据都在这里面。

5、  mfrabox，一般在文件末尾，媒体的索引文件，可通过查询直接定位所需时间点的媒体数据。


附：Smooth Streaming中ismv文件结构，文件分为了多个Fragments，每个Fragment中包含moof和mdat。这样的结构符合渐进式播放需求。（mdat及其描述信息逐步传输，收齐一个Fragment便可播放其中的mdat）。

 

 

 

 

 

 

http://blog.csdn.net/tx3344/article/details/8476669

MP4(MPEG-4 Part 14)是一种常见的多媒体容器格式，它是在“ISO/IEC 14496-14”标准文件中定义的。

1.最小组成单元 BOX

像FLV的tag、MKV的EBML、ASF文件中的 ASF object.mp4 是由一系列的box组成，他的最小组成单元就是box.



size;指明了整个box所占用的大小，包括header部分.
type;表示这个box的类型。(附表1)
largesize;如果box很大超过了uint32的最大数值，size就被设置为1，并用接下来的 largesize来存放大小。

2.mp4文件整体结构


mp4文件说白了就是一系列box组成，大box里面有小box。
接下来会深入到具体的box里面，来具体分析mp4格式
未完待续.....


附表1

 

Code Abstract Defined in/by
ainf Asset information to identify, license and play DECE
albm Album title and track number (user-data) 3GPP
auth Media author name (user-data) 3GPP
avcn AVC NAL Unit Storage Box DECE
bloc Base location and purchase location for license acquisition DECE
bpcc Bits per component JP2
buff Buffering information AVC
bxml binary XML container ISO
ccid OMA DRM Content ID OMA DRM 2.1
cdef type and ordering of the components within the codestream JP2
clsf Media classification (user-data) 3GPP
cmap mapping between a palette and codestream components JP2
co64 64-bit chunk offset ISO
colr specifies the colourspace of the image JP2
cprt copyright etc. (user-data) ISO
crhd reserved for ClockReferenceStream header MP4V1
cslg composition to decode timeline mapping ISO
ctts (composition) time to sample ISO
cvru OMA DRM Cover URI OMA DRM 2.1
dcfD Marlin DCF Duration, user-data atom type OMArlin
dinf data information box, container ISO
dref data reference box, declares source(s) of media data in track ISO
dscp Media description (user-data) 3GPP
dsgd DVB Sample Group Description Box DVB
dstg DVB Sample to Group Box DVB
edts edit list container ISO
elst an edit list ISO
feci FEC Informatiom ISO
fecr FEC Reservoir ISO
fiin FD Item Information ISO
fire File Reservoir ISO
fpar File Partition ISO
free free space ISO
frma original format box ISO
ftyp file type and compatibility JP2, ISO
gitn Group ID to name ISO
gnre Media genre (user-data) 3GPP
grpi OMA DRM Group ID OMA DRM 2.0
hdlr handler, declares the media (handler) type ISO
hmhd hint media header, overall information (hint track only) ISO
hpix Hipix Rich Picture (user-data or meta-data) HIPIX
icnu OMA DRM Icon URI OMA DRM 2.0
ID32 ID3 version 2 container inline
idat Item data ISO
ihdr Image Header JP2
iinf item information ISO
iloc item location ISO
imif IPMP Information box ISO
infu OMA DRM Info URL OMA DRM 2.0
iods Object Descriptor container box MP4V1
iphd reserved for IPMP Stream header MP4V1
ipmc IPMP Control Box ISO
ipro item protection ISO
iref Item reference ISO
jP$20$20 JPEG 2000 Signature JP2
jp2c JPEG 2000 contiguous codestream JP2
jp2h Header JP2
jp2i intellectual property information JP2
kywd Media keywords (user-data) 3GPP
loci Media location information (user-data) 3GPP
lrcu OMA DRM Lyrics URI OMA DRM 2.1
m7hd reserved for MPEG7Stream header MP4V1
mdat media data container ISO
mdhd media header, overall information about the media ISO
mdia container for the media information in a track ISO
mdri Mutable DRM information OMA DRM 2.0
meco additional metadata container ISO
mehd movie extends header box ISO
mere metabox relation ISO
meta Metadata container ISO
mfhd movie fragment header ISO
mfra Movie fragment random access ISO
mfro Movie fragment random access offset ISO
minf media information container ISO
mjhd reserved for MPEG-J Stream header MP4V1
moof movie fragment ISO
moov container for all the meta-data ISO
mvcg Multiview group AVC
mvci Multiview Information AVC
mvex movie extends box ISO
mvhd movie header, overall declarations ISO
mvra Multiview Relation Attribute AVC
nmhd Null media header, overall information (some tracks only) ISO
ochd reserved for ObjectContentInfoStream header MP4V1
odaf OMA DRM Access Unit Format OMA DRM 2.0
odda OMA DRM Content Object OMA DRM 2.0
odhd reserved for ObjectDescriptorStream header MP4V1
odhe OMA DRM Discrete Media Headers OMA DRM 2.0
odrb OMA DRM Rights Object OMA DRM 2.0
odrm OMA DRM Container OMA DRM 2.0
odtt OMA DRM Transaction Tracking OMA DRM 2.0
ohdr OMA DRM Common headers OMA DRM 2.0
padb sample padding bits ISO
paen Partition Entry ISO
pclr palette which maps a single component in index space to a multiple- component image JP2
pdin Progressive download information ISO
perf Media performer name (user-data) 3GPP
pitm primary item reference ISO
res$20 grid resolution JP2
resc grid resolution at which the image was captured JP2
resd default grid resolution at which the image should be displayed JP2
rtng Media rating (user-data) 3GPP
sbgp Sample to Group box AVC, ISO
schi scheme information box ISO
schm scheme type box ISO
sdep Sample dependency AVC
sdhd reserved for SceneDescriptionStream header MP4V1
sdtp Independent and Disposable Samples Box AVC, ISO
sdvp SD Profile Box SDV
segr file delivery session group ISO
senc Sample specific encryption data DECE
sgpd Sample group definition box AVC, ISO
sidx Segment Index Box 3GPP
sinf protection scheme information box ISO
skip free space ISO
smhd sound media header, overall information (sound track only) ISO
srmb System Renewability Message DVB
srmc System Renewability Message container DVB
srpp STRP Process ISO
stbl sample table box, container for the time/space map ISO
stco chunk offset, partial data-offset information ISO
stdp sample degradation priority ISO
sthd Subtitle Media Header Box DECE
stsc sample-to-chunk, partial data-offset information ISO
stsd sample descriptions (codec types, initialization etc.) ISO
stsh shadow sync sample table ISO
stss sync sample table (random access points) ISO
stsz sample sizes (framing) ISO
stts (decoding) time-to-sample ISO
styp Segment Type Box 3GPP
stz2 compact sample sizes (framing) ISO
subs Sub-sample information ISO
swtc Multiview Group Relation AVC
tfad Track fragment adjustment box 3GPP
tfhd Track fragment header ISO
tfma Track fragment media adjustment box 3GPP
tfra Track fragment radom access ISO
tibr Tier Bit rate AVC
tiri Tier Information AVC
titl Media title (user-data) 3GPP
tkhd Track header, overall information about the track ISO
traf Track fragment ISO
trak container for an individual track or stream ISO
tref track reference container ISO
trex track extends defaults ISO
trgr Track grouping information ISO
trik Facilitates random access and trick play modes DECE
trun track fragment run ISO
tsel Track selection (user-data) 3GPP
udta user-data ISO
uinf a tool by which a vendor may provide access to additional information associated with a UUID JP2
UITS Unique Identifier Technology Solution Universal Music
ulst a list of UUID’s JP2
url$20 a URL JP2
uuid user-extension box ISO, JP2
vmhd video media header, overall information (video track only) ISO
vwdi Multiview Scene Information AVC
xml$20 a tool by which vendors can add XML formatted information JP2
xml$20 XML container ISO
yrrc Year when media was recorded (user-data) 3GPP

QuickTime Codes

 

Code Abstract Defined in/by
clip Visual clipping region container QT
crgn Visual clipping region definition QT
ctab Track color-table QT
elng Extended Language Tag QT
imap Track input map definition QT
kmat Compressed visual track matte QT
load Track pre-load definitions QT
matt Visual track matte for compositing QT
pnot Preview container QT
wide Expansion space reservation QT

 

 

 

1.File Type Box

Box Type: `ftyp’
这种box一般情况下都会出现在mp4文件的开头，它可以作为mp4容器格式的可表示信息。就像flv头‘F’ 'L' 'V' 3字节,MKV头部的1A 45 DF A3 、ASF_Header_Object 可以作为ASF容器格式的可辨识信息一样。

ftyp box内容结构如下

[cpp] view plaincopy
  1. aligned(8) class FileTypeBox  
  2. extends Box(‘ftyp’) {  
  3. unsigned int(32) major_brand;  
  4. unsigned int(32) minor_version;  
  5. unsigned int(32) compatible_brands[]; // to end of the box  
  6. }  

2.Movie Box

Box Type: ‘moov’

moov 这个box 里面包含了很多个子box,就像上篇那个图上标的。一般情况下moov 会紧跟着 ftyp。moov里面包含着mp4文件中的metedata。音视频相关的基础信息。让我们看看moov 里面都含有哪些重要的box。

2.1 Movie Header Box

Box Type: ‘mvhd’
mvhd 结果如下:
[cpp] view plaincopy
  1. aligned(8) class MovieHeaderBox extends FullBox(‘mvhd’, version, 0) {  
  2. if (version==1) {  
  3. unsigned int(64) creation_time;  
  4. unsigned int(64) modification_time;  
  5. unsigned int(32) timescale;  
  6. unsigned int(64) duration;  
  7. } else { // version==0  
  8. unsigned int(32) creation_time;  
  9. unsigned int(32) modification_time;  
  10. unsigned int(32) timescale;  
  11. unsigned int(32) duration;  
  12. }  
  13. template int(32) rate = 0x00010000; // typically 1.0  
  14. template int(16) volume = 0x0100; // typically, full volume  
  15. const bit(16) reserved = 0;  
  16. const unsigned int(32)[2] reserved = 0;  
  17. template int(32)[9] matrix =  
  18. { 0x00010000,0,0,0,0x00010000,0,0,0,0x40000000 };  
  19. // Unity matrix  
  20. bit(32)[6] pre_defined = 0;  
  21. unsigned int(32) next_track_ID;  
  22. }  

Field

Type

Comment

box size

4

box大小

box type

4

box类型

version

1

box版本，0或1，一般为0。

flags

3

 flags

creation time

4

创建时间（相对于UTC时间1904-01-01零点的秒数）

modification time

4

修改时间

time scale

4

文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数

一般情况下视频的 都是90000

duration

4

该track的时间长度，用duration和time scale值可以计算track时长，比如audio track的time scale = 8000, duration = 560128，时长为

70.016，video track的time scale = 600, duration = 42000，时长为70

rate

4

推荐播放速率，高16位和低16位分别为小数点整数部分和小数部分，即[16.16] 格式，该值为1.0（0x00010000）表示正常前向播放

volume

2

与rate类似，[8.8] 格式，1.0（0x0100）表示最大音量

reserved

10

保留位

matrix

36

视频变换矩阵

pre-defined

24

next track id

4

下一个track使用的id号

所以通过解析这部分内容可以或者duration、rate等主要信息。举个例子：



上面的例子解析可知 time scale = 90000,duration = 15051036（E5A91C）/ time scale = 167s.

2.2 Track Box

Box Type: ‘trak’

在moov 这个box中会含有若干个track box.每个track都是相对独立。tarck box里面会包含很多别的box，有2个很关键 Track Header Box、Media Box。下图是个普通的mp4文件。可以看到track box的简单结构。


2.2.1 Track Header Box

Box Type: ‘tkhd’
[cpp] view plaincopy
  1. aligned(8) class TrackHeaderBox  
  2. extends FullBox(‘tkhd’, version, flags){  
  3. if (version==1) {  
  4. unsigned int(64) creation_time;  
  5. unsigned int(64) modification_time;  
  6. unsigned int(32) track_ID;  
  7. const unsigned int(32) reserved = 0;  
  8. unsigned int(64) duration;  
  9. } else { // version==0  
  10. unsigned int(32) creation_time;  
  11. unsigned int(32) modification_time;  
  12. unsigned int(32) track_ID;  
  13. const unsigned int(32) reserved = 0;  
  14. unsigned int(32) duration;  
  15. }  
  16. const unsigned int(32)[2] reserved = 0;  
  17. template int(16) layer = 0;  
  18. template int(16) alternate_group = 0;  
  19. template int(16) volume = {if track_is_audio 0x0100 else 0};  
  20. const unsigned int(16) reserved = 0;  
  21. template int(32)[9] matrix=  
  22. { 0x00010000,0,0,0,0x00010000,0,0,0,0x40000000 };  
  23. // unity matrix  
  24. unsigned int(32) width;  
  25. unsigned int(32) height;  
  26. }  

Field

Type

Comment

box size

4

box大小

box type

4

box类型

version

1

box版本，0或1，一般为0。

flags

3

按位或操作结果值，预定义如下：
0x000001 track_enabled，否则该track不被播放；
0x000002 track_in_movie，表示该track在播放中被引用；
0x000004 track_in_preview，表示该track在预览时被引用。
一般该值为7，如果一个媒体所有track均未设置track_in_movie和track_in_preview，将被理解为所有track均设置了这两项；对于hint track，该值为0

track id

4

id号，不能重复且不能为0

reserved

4

保留位

duration

4

track的时间长度

reserved

8

保留位

layer

2

视频层，默认为0，值小的在上层

alternate group

2

track分组信息，默认为0表示该track未与其他track有群组关系

volume

2

[8.8] 格式，如果为音频track，1.0（0x0100）表示最大音量；否则为0

reserved

2

保留位

matrix

36

视频变换矩阵

width

4

宽

height

4

高，均为 [16.16] 格式值，与sample描述中的实际画面大小比值，用于播放时的展示宽高
posted @ 2014-04-29 09:57  静之深  阅读(9515)  评论(0)  编辑  收藏  举报