目前MP4的概念被炒得很火，也很乱。最开始MP4指的是音频（MP3的升级版），即MPEG-2 AAC标准。随后MP4概念被转移到视频上，对应的是MPEG-4标准。而现在我们流行的叫法，多半是指能播放MPEG-4标准编码格式视频的播放器。但是这篇文章介绍的内容跟上面这些都无关，我们要讨论的是MP4文件封装格式，对应的标准为ISO/IEC 14496-12，即信息技术 视听对象编码的第12部分：ISO 基本媒体文件格式（Information technology Coding of audio-visual objects Part 12: ISO base media file format）。ISO/IEC组织指定的标准一般用数字表示，ISO/IEC 14496即MPEG-4标准。
MP4视频文件封装格式是基于QuickTime容器格式定义的，因此参考QuickTime的格式定义对理解MP4文件格式很有帮助。MP4文件格式是一个十分开放的容器，几乎可以用来描述所有的媒体结构，MP4文件中的媒体描述与媒体数据是分开的，并且媒体数据的组织也很自由，不一定要按照时间顺序排列，甚至媒体数据可以直接引用其他文件。同时，MP4也支持流媒体。MP4目前被广泛用于封装h.264视频和AAC音频，是高清视频的代表。MP4格式的官方文件后缀名是“.mp4”，还有其他的以mp4为基础进行的扩展或者是缩水版本的格式，包括：M4V, 3GP, F4V等。
1.概述
MP4文件中的所有数据都装在box（QuickTime中为atom）中，也就是说MP4文件由若干个box组成，每个box有类型和长度，可以将box理解为一个数据对象块。box中可以包含另一个box，这种box称为container box。一个MP4文件首先会有且只有一个“ftyp”类型的box，作为MP4格式的标志并包含关于文件的一些信息；之后会有且只有一个“moov”类型的box（Movie Box），它是一种container box，子box包含了媒体的metadata信息；MP4文件的媒体数据包含在“mdat”类型的box（Midia Data Box）中，该类型的box也是container box，可以有多个，也可以没有（当媒体数据全部引用其他文件时），媒体数据的结构由metadata进行描述。
下面是一些概念：
- track 表示一些sample的集合，对于媒体数据来说，track表示一个视频或音频序列。
- hint track 这个特殊的track并不包含媒体数据，而是包含了一些将其他数据track打包成流媒体的指示信息。
- sample 对于非hint track来说，video sample即为一帧视频，或一组连续视频帧，audio sample即为一段连续的压缩音频，它们统称sample。对于hint track，sample定义一个或多个流媒体包的格式。
- sample table 指明sampe时序和物理布局的表。
- chunk 一个track的几个sample组成的单元。
不讨论涉及hint的内容，只关注包含媒体数据的本地MP4文件。下图为一个典型的MP4文件的结构树。
2.Box
box中的字节序为网络字节序，也就是大端字节序（Big-Endian），简单的说，就是一个32位的4字节整数存储方式为高位字节在内存的低端。Box由header和body组成，其中header统一指明box的大小和类型，body根据类型有不同的意义和格式。
标准的box开头的4个字节（32位）为box size，该大小包括box header和box body整个box的大小，这样我们就可以在文件中定位各个box。如果size为1，则表示这个box的大小为large size，真正的size值要在largesize域上得到。（实际上只有“mdat”类型的box才有可能用到large size。）如果size为0，表示该box为文件的最后一个box，文件结尾即为该box结尾。（同样只存在于“mdat”类型的box中。）size后面紧跟的32位为box type，一般是4个字符，如“ftyp”、“moov”等，这些box type都是已经预定义好的，分别表示固定的意义。如果是“uuid”，表示该box为用户扩展类型。如果box type是未定义的，应该将其忽略。
3.File Type Box(ftyp)
该box有且只有1个，并且只能被包含在文件层，而不能被其他box包含。该box应该被放在文件的最开始，指示该MP4文件应用的相关信息。 “ftyp” body依次包括1个32位的major brand（4个字符），1个32位的minor version（整数）和1个以32位（4个字符）为单位元素的数组compatible brands。这些都是用来指示文件应用级别的信息。该box的字节实例如下：
1 | 00000000h: 00 00 00 18 66 74 79 70 6D 70 34 32 00 00 00 01 ; ....ftypmp42.... |
4.Movie Box(moov)
该box包含了文件媒体的metadata信息，“moov”是一个container box，具体内容信息由子box诠释。同File Type Box一样，该box有且只有一个，且只被包含在文件层。一般情况下，“moov”会紧随“ftyp”出现。
一般情况下（限于篇幅，本文只讲解常见的MP4文件结构），“moov”中会包含1个“mvhd”和若干个“trak”。其中“mvhd”为header box，一般作为“moov”的第一个子box出现（对于其他container box来说，header box都应作为首个子box出现）。“trak”包含了一个track的相关信息，是一个container box。下图为部分“moov”的字节实例，其中红色部分为box header，绿色为“mvhd”，黄色为一部分“trak”。
4.1 Movie Header Box(mvhd)
“mvhd”接口如下表:
| 字段 | 字节数 | 意义 |
|---|---|---|
| box size | 4 | box大小 |
| box type | 4 | box类型 |
| version | 1 | box版本，0或1，一般为0。（以下字节数均按version=0） |
| flags | 3 | |
| creation time | 4 | 创建时间（相对于UTC时间1904-01-01零点的秒数） |
| modification time | 4 | 修改时间 |
| time scale | 4 | 文件媒体在1秒时间内的刻度值，可以理解为1秒长度的时间单元数 |
| duration | 4 | 该track的时间长度，用duration和time scale值可以计算track时长，比如audio track的time scale = 8000, duration = 560128，时长为70.016，video track的time scale = 600, duration = 42000，时长为70 |
| rate | 4 | 推荐播放速率，高16位和低16位分别为小数点整数部分和小数部分，即[16.16] 格式，该值为1.0（0x00010000）表示正常前向播放 |
| volume | 2 | 与rate类似，[8.8] 格式，1.0（0x0100）表示最大音量 |
| reserved | 10 | 保留位 |
| matrix | 36 | 视频变换矩阵 |
| pre-defined | 24 | |
| next track id | 4 | 下一个track使用的id号 |
4.2Track Box(trak)
“trak”也是一个container box，其子box包含了该track的媒体数据引用和描述（hint track除外）。一个MP4文件中的媒体可以包含多个track，且至少有一个track，这些track之间彼此独立，有自己的时间和空间信息。“trak”必须包含一个“tkhd”和一个“mdia”，此外还有很多可选的box（略）。其中“tkhd”为track header box，“mdia”为media box，该box是一个包含一些track媒体数据信息box的container box。
| box类型 | 说明 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| ftype | file type,说明文件类型 | ||||||||||
| moov | metadata container,存放媒体信息的地方 | ||||||||||
| mvhd | movie header,文件的总体信息,如时长,创建时间等 | ||||||||||
| mvhd | movie header,文件的总体信息,如时长,创建时间等 | ||||||||||
| trak | track or stream container,存放视频/音频流的容器 | ||||||||||
| tkhd | track header,track的总体信息,如时长,宽高等 | media | trak media information container | ||||||||
| mdhd | media header,定义TimeScale,trak需要通过TimeScale转换成真实时间 | ||||||||||
| hdlr | handler,表明本trak类型,指明是`video/audio/还是hint` | ||||||||||
| minf | media information container,数据在子box中 | ||||||||||
| stbl | sample table box,存放时间/偏移的映射关系表,数据在子box中 | ||||||||||
| stsd | sample descriptions | ||||||||||
| stts | (decoding)time-to-sample,"时戳-sample序号"的映射表 | ||||||||||
| stsc | sample-to-chunk,sample和chunk的映射表,这里的算法比较巧妙 | ||||||||||
| stsz | sample size,每个sample的大小 | ||||||||||
| stz2 | sample size,另一种sample size的存储算法,更节省空间 | ||||||||||
| stss | sync sample table,可随机访问的sample列表(关键帧列表) | ||||||||||
| stco | chunk offset,每个chunk的偏移,sample的偏移可根据其他box推算出来 | ||||||||||
| co64 | 64-bit chunk offset | ||||||||||
| mdat | media data container,具体的媒体数据 | ||||||||||
