网络媒体流的音视频同步

一、音视频同步原理介绍      

      在多媒体采样/编码时，音频和视频都有一个固定的频率，比如视频以h264为例，其帧率是15F/S，音频以AAC为例，其采样率为44100,每帧含1024个sample,这样其帧率约为43F/S。这样，在理论上，每秒钟需要播放15帧视频数据和43帧音频数据。如果有一方播放速度过快或过慢，都会影响用户体验，这是音视频需要同步的原因。

二、实现方案简介

2.1两个时间参考点

要实现音视频同步，需要有两个时间参考点
（1）、编码时间参考点

　　　  以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime

（2）、解码时间参考点        

          以第一个视频帧到达时间作为播放参考时间playPreTime

2.2四个缓存队列

(1)视频接收缓存队列

(2)音频接收缓存队列

(3)视频播放缓存队列

(4)音频播放缓存队列

2.3同步实现步骤 

   具体实现方案如下：

(1).以第一个到达的视频帧时间戳作为编码参考时间戳enPreTime，并以到达时间作为播放参考时间playPreTime。在该时间(playPreTime)之前到达的音频帧,时间戳大于enPreTime的，放入缓存，小于enPreTime的，直接丢弃。

(2).周期性的从播放缓存内读取音视频数据，并用当前帧的时间戳与enPreTime做差，得到编码时间差，获取读取时间与上一播放帧的时间差，得到等待时间。

当等待时间>=编码时间差时，则，解码并播放。否则，将数据放到播放缓存。当播放缓存已空时，则该从接收缓存队列读取数据。并作与上相同的操作。

三、类似实现方案

本方案是以视频为驱动的实现方案，还有以音频为驱动的实现方案和无驱动同步方案，这里不一一做介绍，感兴趣的同仁可以自己研究一下其优缺点和适用场景。