音视频编解码原理基础

1.音视频播放器原理

音视频技术主要包含以下几点：封装技术，视频压缩编码技术和音频编码压缩技术。

如果解码本地视频，则不需要解协议：解封装->解码音视频->音视频同步；

 

 

 

解协议的作用：将流媒体协议的数据解析为标准的响应的封装格式的数据，音视频在网络上传输时常常采用各种流媒体协议，例如HTTP、RPMP和MMS等等，这些协议在传输音视频时也会传输一些信令数据，这些信令数据包含播放、暂停和停止等，或者对网络状态的描述。解协议的过程就是去掉这些信令指令，只保留音视频数据。例如：采用RTMP协议发送的数据，经过解协议后，得到输出结果为flv的封装格式数据。

解封装的作用： 将输入的封装格式的数据，分离成音频流压缩的数据和视频流压缩的数据，封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等。它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如：FLV封装格式的数据解封装后，输出H264的视频码流和AAC的音频码流。

解码的作用： 就是将音频/视频的压缩编码数据，解码成为非压缩的音视/视频的原始数据。音频的压缩编码标准包含AAC，MP3,AC-3等，视频的压缩编码标准包含H264，MPEG2,VC-1等等。解码的过程是整个系统中总重要和最复杂的一个环节，通过解码，压缩的视频数据输出为非压缩的颜色数据，例如YUV420P、RGB等等，压缩的音频数据输出为非压缩的音频抽样数据，例如PCM的数据。

音视频同步的作用： 将解封装过程得到的参数信息和同步解码得到的音视频数据，推送到系统的显卡和声卡显示出来。