视频直播技术（一）：直播技术相关概念和流程总览
近期开始接触视频直播方面的项目，本人也总结了一些视频直播的相关的概念、技术及解决方案。
首先，了解了一下视频直播相关的概念。常用的几种视频协议是：RTMP、HTTP-FLV、HLS、RTP/RTCP协议。
然后我们会在说明一下直播整体的流程和相关的技术。
一、视频直播协议
在直播领域大概可以分类两种类型的在直播：一种是交互式直播，另外一种是非交互式直播。
非交互式直播（如：阅兵直播、NBA直播、欧冠直播等）交互性不强，允许延迟10秒或者10秒以上，特点是源比较少，适合做多路转码（用户可以根据网络条件观看）。
交互式直播的典型场景有：秀场直播、游戏直播等。这些直播因为对主播和观众的互动性要求比较高，所以要求延迟在5s以内。交互式直播的特点是：源比较多，不适合做多路转码，中间服务器只作为中转角色。
直播内容传输的介质是网络，而网络中传播视频或者音频时需要使用对应的协议，目前适合直播场景的常用协议有如下几种。
1.RTMP协议 (HTML 5不支持，Flash支持)
RTMP是一种流媒体协议，是Adobe的专利协议。基于TCP，在国内的使用流行度很高。
流行原因：开源软件和开源库的支持稳定完整，最常用的推流和拉流的解决方案基本上能够很稳定的运行。如：开源的librtmp推流库，服务端有nginx-rtmp插件，拉流有ijkPlayer播放库。
2.HTTP-FLV协议 (HTML 5 不支持，Flash支持)
即使用HTTP协议流式的传输媒体内容。相对于RTMP，HTTP更简单和广为人知。内容延迟同样可以做到2~5秒，打开速度更快，因为HTTP本身没有复杂的状态交互。所以从延迟角度来看，HTTP-FLV要优于RTMP。
3.HLS协议 (HTML 支持，Flash支持)
即Http Live Streaming，是由苹果提出基于HTTP的流媒体传输协议。HLS有一个非常大的优点：HTML5可以直接打开播放；这个意味着可以把一个直播链接通过微信等转发分享，不需要安装任何独立的APP，有浏览器即可，所以流行度很高。社交直播APP，HLS可以说是刚需 。基于HLS的直播流URL是一个m3u8的文件，里面包含了最近若干个小视频TS（一种视频封装格式，这里就不扩展介绍）文件。这种播放形式的延时比较高（与TS文件的大小有关系），同城网络下能够做到5~7秒的延时。
4.RTP/RTCP协议
即 Real-time Transport Protocol，用于Internet上针对多媒体数据流的一种传输层协议。RTCP传输交互控制的信令，RTP传输实际的媒体数据。
RTP在视频监控、视频会议、IP电话上有广泛的应用，因为视频会议、IP电话的一个重要的使用体验：内容实时性强。
对比上述3种协议，RTP和它们有一个重要的区别就是默认是使用UDP协议来传输数据，而RTMP和HTTP是基于TCP协议传输。
使用场景分析：实时音视频流的场景不需要可靠保障，因此也不需要有重传的机制，实时的看到图像声音，网络抖动时丢了一些内容，画面模糊和花屏，完全不重要。TCP为了重传会造成延迟与不同步，如某一截内容因为重传，导致1秒以后才到，那么整个对话就延迟了1秒，随着网络抖动，延迟还会增加成2秒、3秒，如果客户端播放是不加以处理将严重影响直播的体验。如何进行优化，会在后面的文章中进行讲解。
总结：在直播协议的选择中，如果选择是RTMP或HTTP-FLV则意味着有2~5秒的内容延迟，但是就打开延迟来说，HTTP-FLV 要优于RTMP。HLS则有5~7秒的内容延迟。选择RTP进行直播则可以做到1秒内的直播延迟。但就目前所了解，各大CDN厂商没有支持基于RTP直播的，所以目前国内主流还是RTMP或HTTP-FLV。
二、视频直播流程
视频直播相关的技术方面的流程为：实时视频流的采集 -- > 视频流的编码 -- > 视频流的传输 --> 视频流的解码 --> 视频播放。
1. 实时视频采集实现思路
a). 通过Android Camera 拍摄预览中设置setPreviewCallBack实现onPreviewFrame接口，实时截取每一帧视频流的数据。
b). 通过Android的MediaRecorder，在SetoutputFile函数中绑定LocalSocket实现。
c). 流媒体服务器方式，利用FFmpeg或者GetStreamer等获取Camera视频。
2. 视频压缩编码实现思路
a). 不编码，直接通过Socket传输原始YUV420SP视频帧。
b). JEPG. 将原始YUV420SP视频帧压缩成H.264再传输。
c). H.264/AVC.将原始YUV420SP视频帧压缩成H.264再传输，常见的基于H264的开源Encoder有JM、X264、T264、Hdot264等
d). MPEG4.将原始YUV420SP视频帧压缩成MPEG4再传输
3. 视频传输实现思路
a). SOCKET传输
b). HTTP传输
c). RTP/RTSP传输
d). 流媒体服务器方式，如live555等
4. 视频解码实现思路
a). 与编码对应的解码器
5. 视频播放实现思路
a). 通过Android VideoView
b). 通过Android MediaPlay
c). 通过Canvas直接粘贴帧图
三、推荐学习资料
来疯直播相关博客文章：
Android手机直播（四）Android Media API
