浅析图像到视频
浅析图像到视频
何为视频？
所谓视频，其实就是将一张一张的图片连续的放出来，就像放幻灯片一样，由于人眼的视觉暂留特性，只要图片的数量足够多，就会觉得是连续的动作。 所以，只需要将一张一张的图片保存下来，这样就可以构成一个视频了。那么，我们该如何采集图像呢？
图像采集：
我们可以通过CMOS sensor采集图像。CMOS sensor采集的图像数据是原始的RAW数据，CMOS sensor把这些RAW数据传输给ISP（图像信号处理）对原始图像信号进行进一步处理之后，输出让人眼看起来质量较好（噪声小、清晰、色彩还原性好、饱和度适中等）的单帧图像数据，单帧图像数据再输入到视频编解码模块，进行视频编码工作。
视频编码：
我们可以通过CMOS Senor采集图像数据，但是由于现实中网路和存储空间的限制，直接存储图像数据是不可能的。举个例子：在视频聊天中，假定从摄像头采集的图片每张大小200KB，每秒钟发送大概15帧图片，这样每秒钟需要的流量就需要3M（意味着需要24M的宽带。200k大小数据应该包括了RGB三通道的数据，根据附注可以计算其带宽大小为：200K*8*15。不考虑数据中的其他信号；数据位数为8 bits/color；帧率为15fps），显然这个要求太高了。 那能不能把连续采集的图像进行压缩，经过压缩之后再进行传输呢？
很好的想法。实际上由于视频图像之间具有较强的相关性。即上一帧的图像和下一帧的图像相差并不是很大，两帧图像之间具有大量冗余信息。那么，我们去掉这些冗余信息之后，视频图像将变得较小。比如，在记录第一张完整的图像之后，后续的图像每一张只记录和上一帧图像不一样的地方，知道出现差别较大的图像，才重新记录一帧完整的图像。（这个完整的图像就叫做关键帧），这样就在很大程度上减小了空间。
因此，视频编码的主要作用是将视频像素数据（RGB、YUV等）压缩成为视频码流，从而降低视频的数据量。 如果视频不经过压缩编码的话，体积通常是非常大的，一部电影可能就要上百G的空间。视频编码是音视频技术中最重要的技术之一。视频码流的数据流占了音视频总数据量的绝大部分。高效率的视频编码在同等的码率下，可以获得更高的视频质量。
上面提到的压缩专业术语叫做视频编码，目前主流的编码格式有国际电联的H.261、H.263、H.264、H.265，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV以及Apple公司的QuickTime等。常用的压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。
监控中的视频编码技术：
目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。
MJPEG
MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。
MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要8~20K！
MPEG-1/2
MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288)的图像进行压缩. 压缩位率主要目标为1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方:存储容量还是过大、清晰度不够高和网络传输困难。
MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低(352x288)，中(720x480)，次高(1440x1080)，高(1920x1080)。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适和网络传输。
MPEG-4
MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。
MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定：
每台解码设备需要交给MPEG-LA 0.25美元
编码/解码设备还需要按时间交费（4美分/天=1.2美元/月 =14.4美元/年）
H.264/AVC
H.264集中了以往标准的优点，在许多领域都得到突破性进展，使得它获得比以往标准好得多整体性这里就介绍下H.264有哪些优势：
1．低码率（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。
2．高质量的图像：H.264能提供连续、流畅的高质量图像（DVD质量）。
3．容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。
4．网络适应性强：H.264提供了网络抽象层（NetworkAbstraction Layer），使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）。
5．高压缩率，H.264的压缩比达到惊人的102∶1。
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。低码率（Low Bit Rate）对H.264的高的压缩比起到了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。
参考资料：
http://blog.yundiantech.com/?log=blog&id=4
https://blog.csdn.net/Bovi_L/article/details/37909395
https://blog.csdn.net/tgww88/article/details/51407314
附注视频传输所需带宽：
1. 理论计算（数据未压缩）
4K显示屏对应的解析度：3840*2160
4K内容需要的传输速率：3840*2160*8*3*60≈12 Gbps （前提：不考虑数据中的其他信号；数据位数为8 bits/color；帧率为60fps）
2. 理论计算（数据压缩后）
H.265标准的压缩比：350~1000
4K内容需要的传输速率（H.265标准压缩后）：12~40 Mbps
3. 实际数值
1) 各国4K内容现场试验中的传输速率：17.5~35 Mbps（H.265压缩标准下）
2) Netflix 4K: ≥20 Mbps （H.265压缩标准下）
3) Youtube 4K: ≥25 Mbps （VP9压缩标准下）<感谢
4) LG 4K: 15.6 Mbps （推测同样为H.265压缩标准）
作者：张勇
链接：https://www.zhihu.com/question/23455508/answer/95959064
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
