FFmpeg简易播放器的实现4-音视频播放

本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/10235926.html

基于 FFmpeg 和 SDL 实现的简易视频播放器，主要分为读取视频文件解码和调用 SDL 播放两大部分。

前面三个实验分别实现了最简播放、视频播放和音频播放，本次实验将视频播放和音频播放结合在一起。

FFmpeg 简易播放器系列文章如下：
[1]. FFmpeg简易播放器的实现1-最简版
[2]. FFmpeg简易播放器的实现2-视频播放
[3]. FFmpeg简易播放器的实现3-音频播放
[4]. FFmpeg简易播放器的实现4-音视频播放
[5]. FFmpeg简易播放器的实现5-音视频同步

1. 视频播放器基本原理

下图引用自 “雷霄骅，视音频编解码技术零基础学习方法”，因原图太小，看不太清楚，故重新制作了一张图片。

如下内容引用自 “雷霄骅，视音频编解码技术零基础学习方法”：

解协议
将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如 HTTP，RTMP，或是 MMS 等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用 RTMP 协议传输的数据，经过解协议操作后，输出 FLV 格式的数据。

解封装
将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如 MP4，MKV，RMVB，TS，FLV，AVI 等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV 格式的数据，经过解封装操作后，输出 H.264 编码的视频码流和 AAC 编码的音频码流。

解码
将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含 AAC，MP3，AC-3 等等，视频的压缩编码标准则包含 H.264，MPEG2，VC-1 等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如 YUV420P，RGB 等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如 PCM 数据。

音视频同步
根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

2. 简易播放器的实现-音视频播放

2.1 实验平台

实验平台：  openSUSE Leap 42.3  
FFmpeg版本：4.1  
SDL版本：   2.0.9  

FFmpeg 开发环境搭建可参考 “FFmpeg开发环境构建”

2.2 源码清单

使用如下命令下载源码：

svn checkout https://github.com/leichn/exercises/trunk/source/ffmpeg/player_avideo

2.3 源码流程分析

参考如下：

2.4 解复用线程

解复用线程就是 main() 函数所在的主线程。main() 函数作一些必要的初始化工作后，创建音频处理线程和视频处理线程。

然后 main() 函数进入主循环，从输入文件中读取 packet，并根据 packet 类型，将之放入视频 packet 队列或音频 packet 队列。

2.5 音频处理线程

音频处理线程是 SDL 库内建线程。用户提供回调函数供音频处理线程调用。实现过程参考 “FFmpeg简易播放器的实现3-音频播放”

2.6 视频处理线程

视频处理线程实现视频解码及播放。实现过程参考 “FFmpeg简易播放器的实现2-视频播放”

3. 编译与验证

3.1 编译

在源码目录运行：

./compiler.sh

3.2 验证

选用 clock.avi 测试文件，测试文件下载(右键另存为)：clock.avi

查看视频文件格式信息：

ffprobe clock.avi

打印视频文件信息如下：

[avi @ 0x9286c0] non-interleaved AVI
Input #0, avi, from 'clock.avi':
  Duration: 00:00:12.00, start: 0.000000, bitrate: 42 kb/s
    Stream #0:0: Video: msrle ([1][0][0][0] / 0x0001), pal8, 320x320, 1 fps, 1 tbr, 1 tbn, 1 tbc
    Stream #0:1: Audio: truespeech ([34][0][0][0] / 0x0022), 8000 Hz, mono, s16, 8 kb/s

运行测试命令：

./ffplayer clock.avi  

可以听到每隔 1 秒播放一次“嘀”声，声音播放 12 次。时针每隔 1 秒跳动一格，跳动 12 次。声音播放正常，画面播放也正常，但是声音和画面不能对应，因为没有考虑音视频同步。下一次实验研究音视频同步问题。

4. 参考资料

[1] 雷霄骅，视音频编解码技术零基础学习方法
[2] 雷霄骅，最简单的基于FFMPEG+SDL的视频播放器ver2(采用SDL2.0)
[3] SDL WIKI, https://wiki.libsdl.org/
[4] Martin Bohme, An ffmpeg and SDL Tutorial, Tutorial 03: Playing Sound

5. 修改记录

2018-12-06 V1.0 初稿