音视频相关
1.音视频相关
1.一些基本数据格式
- 封装格式：MP4,RMVB,TS,FLV,AVI
- 视频编码数据：H.264,MPEG2,VC-1
- 音频编码数据：AAC,MP3,AC-3
- 视频像素数据：YUV420P,RGB
- 音频采样数据：PCM
2.播放视频文件的流程
3.编码格式及工具
1）封装格式：视频码流和音频码流按照一定的格式存储在一个文件中 分析工具：Elecard Format Analyzer
举例：
MPEG2-TS:
*不含文件头，由数据大小固定(188Byte)的TS Packet构成
FLV格式：
*包含文件头，数据由大小不固定的Tag构成
2）视频编码数据
视频编码作用:将视频像素数据(RGB,YUV等)压缩为视频码流，从而降低视频的数据量。 工具：Elecard Stream Rye
举例:
H.264格式：
*数据由大小不固定的NALU构成
*最常见，1个NALU存储了1帧画面的压缩编码后的数据
*H.264压缩方式特点：
-比较复杂。
-可以将图象数据压缩一百倍以上
3）音频编码数据
音频编码：将音频采样数据（PCM等)压缩成为音频码流，从而降低音频的数据量。
举例：
AAC格式：
*数据由大小不固定的ADTS构成
*特点
-比较复杂
-音频数据压缩10倍以上
4）视频像素数据
*作用：保存了屏幕上每个像素点的像素值
*特点：视频像素数据体积很大
举例：
*RGB格式
存储每个像素点的RGB信息，BMP文件存储的就是RGB格式的像素数据。
*YUV信息
Y只包含亮度信息，UV包含色度信息，uv各占Y的四分之一
5)音频采样数据：
*保存了音频中每个采样点的值，体积很大， 工具：Adobe Audition
举例：
PCM格式：
*单声道按顺序存储每个采样点的数据
*双声道按照“左右，左右。。”的顺寻存储每个采样点的两个声道的数据。
2.FFmpeg
*背景
使用广泛：
*视频播放器和转码器的内核
特点：
*基于命令行
*开源
命令行工具
1.ffmpeg.exe
用于视频的转码
ffmpeg -i {输入文件路径} -b :v {输出视频码率} {输出文件路径}
举个例子： ffmpeg -i input.avi -b:v 640k output.ts
2.ffplay.exe的使用
用于视频的播放
ffplay [文件路径]
q/esc 退出 p/空格暂停 f 全屏 鼠标点击屏幕：跳转到指定位置
3.视频解码
解码：
*压缩解码数据-> 像素数据
举例：H.264===> "H.264码流-> YUV"
一般解码流程：
封装格式---------->提取视频码流------> 解码
举例：MKV =====> "MKV-> H.264码流_> YUV"
4.类库
avcodec:编解码（最重要）
avformat:封装格式处理
avfilter:滤镜特效处理
avdevice:各种设备的输入输出
avutil:工具库（大部分库都需要这个库的支持）
postproc:后加工
swresample:音频采样数据格式转换
swscale:视频像素数据格式转换
4.1 FFmpeg解码流程
4.1 FFmpeg解码核心数据结构
