多媒体

多媒体：

那么如何支持更多视频编码格式呢？目前来说主要还是依靠第三方框架，在iOS上常用的视频编码、解码框架有：VLC、ffmpeg， 具体使用方式今天就不再做详细介绍。

AVFoundation拍照和录制视频注意点：
输入设备属性，在设置之前必须先锁定配置，修改完后解锁。
定义切换摄像头功能，切换摄像头的过程就是将原有输入移除，在会话中添加新的输入，但是注意动态修改会话需要首先开启配置，配置成功后提交配置。


由于高清视频的分辨率远远高于一般格式视频，使得高清视频的码率非常高。再加上VC-1和H.264编码的压缩率很高，解码运算的运算量很大。因此 常规地直接用CPU解码（即常说的“软解”）会极大地消耗CPU的运算能力，一些较老的CPU软解H.264时CPU占用率往往高达90％以上，更老的可 能就放不动了。

    “硬解”是硬件解码的简称。简单而言，硬件解码就是通过显卡的视频加速功能对高清视频进行解码。因此硬解能够将CPU从繁重的视频解码运算中释放出来， 使电脑具备流畅播放高清视频的能力。显卡的GPU/VPU要比CPU更适合这类大数据量的、低难度的重复工作。视频解码工作从处理器那里分离出来，交给显 卡去做，这就叫做“硬解码”，例如NVIDIA的PureVideo、AMD的UVD技术等等。与之对应的，以前那种纯粹依靠CPU来的方式则是“软解 码”。不过受到技术条件的限制，纯粹的“硬解码”在现阶段是不存在的，CPU依然在发挥一部分作用，只不过硬解码时GPU/VPU已经成为运算的主力。


硬编码：通过调用Android系统自带的Camera录制视频，实际上是调用了底层的高清编码硬件模块，也即显卡，不使用CPU，速度快
软编码：使用CPU进行编码，如常见C/C++代码，一般编译生成的二进制都是的，速度相对较慢。例如使用Android NDK编译H264生成so库，编写jni接口，再使用java调用so库。
视频解码的常见过程
视频解码的4个过程，通常包括获取文件、分离音视频流、解码、输出。
　　获取文件
　　　　视频流的来源可以是文件，也可以是UDP等数据流，主要是将视频流放入内存缓冲区中。
　　分离音视频流
　　　　正如前述，视频文件只是一个容器。视频数据与音频数据按照一定的标准组合在一起。为了下一步的解码，首先要把视频和音频分离开。
　　解码工作
　　　　分离开的音频和视频，由各自的codec负责进行解码，得到原始数据流。
　　输出
　　　　将得到的原始数据流在窗口里进行渲染，使之变成可以看到的图像。