乘风破浪，遇见下一代多功能视频编码Versatile Video Coding (H.266/VVC)，原生支持360全景视频，为元宇宙场景而生

什么是HEVC

高效视频编码（HEVC）是ITU-T视频编码专家组（ITU-TQ.6/SG16）和ISO/IEC运动图像专家组（ISO/IECJTC1/SC29/WG11)。

成立了视频编码联合协作小组(JCT-VC)来开展该项目。该小组的范围已扩展到继续致力于作为HEVC扩展的格式范围扩展(RExt)、可扩展HEVC(SHVC)和屏幕内容编码(SCC)。

成立了3D视频编码扩展开发联合协作团队(JCT-3V)，致力于HEVC和其他视频编码标准的多视图和3D视频编码扩展。

HEVC标准的第一个版本于2013年4月完成。

HEVC的第二个版本，包括RExt、SHVC和MV-HEVC扩展，于2014年10月完成。

包括3D-HEVC扩展在内的第三版HEVC于2015年2月完成。

什么是VVC

JVET于2015年10月作为ITU-TVCEG和ISO/IECMPEG的联合视频探索团队（关于未来视频编码）成立。在成功征集建议后，它转变为联合视频专家团队（也简称为JVET）2018年4月，其任务是开发新的视频编码标准。

新的视频编码标准被命名为多功能视频编码(VVC)。注册为ITU-TRecommendation H.266 |ISO/IEC23090-3。

补充增强信息(SEI)消息和视频使用信息(VUI)被移到一个单独的规范中，称为编码视频比特流的多功能补充增强信息消息(VSEI)，注册为ITU-T建议H.274|ISO/IEC23002-7。

多功能视频编码(VVC)是将作为ISO/IEC23090-3和ITU-T建议H.266发布的新视频压缩编码标准，可提供当今可用的最高压缩效率，因此是最适合于为5G网络上的新媒体服务提供合适的性能水平。它还可以通过以相同的比特率提供更高的质量来增强现有视频服务的用户体验。

发展

从视频业界的角度来说，我们在过去的一年见证了非常重要的里程碑，就是H.266/VVC新一代国际视频标准的定稿。VVC标准是从2018年4月正式开始标准化，经过两年多时间，在2020年夏天达到Final Draft International Standard，也就是第一版的定稿。

VVC在整个两年多的旅程中，尤其最后半年，受到疫情影响，来自全世界各地近300名的视频专家日夜颠倒的参加通过网会的形式开展技术讨论，终于如期完成H.266/VVC新一代标准制定。

与之前每一代国际视频标准类似，VVC相对于上一代HEVC标准带宽成本减半。

上图表示VVC主观性能测试结果，这里展示的是VVC参考平台相比于HEVC参考平台，在相同主观质量的前提下，VVC所能做到的带宽节省。

这里面的视频内容分为5类，前两列为UHD和HD，也就是超高清和高清视频，我们可以看到VVC的VTM参考软件相比于HEVC的HM参考软件可以达到43%到49%的带宽节省。

对于HDR和360全景视频这两种更加新颖的视频格式，VVC可以做到更高的带宽节省，分别达到51%到53%。

最后一列是针对于低延时应用的测试，也就是使用视频会议上所用的时域预测结构，由于预测结构收到了更多的限制，VVC所能达到的带宽节省稍小，但也达到了37%，相当可观。

更丰富的编码工具集

上图展示了众多的VVC编码工具。我这里把传统的视频编解码框架中的主要功能模块分成几类，包括块划分、帧内预测、帧间预测、残差编码、变化量化、环路滤波、以及其他编码工具。

上面的蓝色圆圈是HEVC的编码工具，下面的紫色圆圈是VVC的编码工具。我们可以看到，在相应的功能模块中，HEVC只有三四个相应编码工具，而VVC支持更加丰富的编码工具集，这也是它能够有强大的压缩能力并拿到带宽节省红利的主要原因。

编码工具都具有一定的复杂度，因此每增加一个编码工具都会相应带来复杂度和性能的上升。

上图是JVET标准委员会在VVC标准开发期间跟踪的每个编码工具带来的复杂度和能提供的编码性能的全面概览图。

这个图中横轴是时间，纵轴是编码性能的上升，不同颜色点对应于不同的VVC编码工具。其中横轴越往右相当于一个编码工具的复杂度越低，纵轴越靠上说明编码工具带来的性能越高。

价值

VVC标准带来的带宽红利在HDR视频上超过50%。对于帧享8k 120帧HDR超高清体验是有非常好技术支撑。

全景视频自由视角(Free ViewPoint Video, FVV))方面，由于VVC原生支持360全景视频，能够更好的提升主观质量，帮助大家在这方面孵化新业务。

元宇宙

什么叫Metaverse也就是元宇宙，纽约时报定义为虚拟的体验、环境、财产的混合模态。

这里给了五个元宇宙体现的例子，我们从最上面沿着逆时针方向看一下：如果你喜欢的游戏可以在其中去建立自己的世界，与他人交互，这是元宇宙的体现；如果最近参加过无论是因公（meeting）或因私（party），没有真人出现而是用数字的avatar出现，这也是元宇宙的体现；如果带了头盔或者眼镜去体验AR、VR所赋予的虚拟环境，也是元宇宙的体现；如果你拥有NFT或cryptocurrency这些虚拟财产，也是元宇宙的体现；最后我觉得比较有意思的一点是纽约时报认为绝大多数的社交网络也是元宇宙的体现，因为线上和线下的你不是完全一致，线上的你可能有一定虚拟的成分在，所以也是元宇宙的体现。

支持元宇宙和各种AR/VR体验从视频技术的角度来看有几大共同点：低延时、高并发、以及个性化。

前面这两点与现有应用的要求相类似，比如拿直播来说，也有低延时高并发的要求；但是第三点要求，就是个性化的要求，是一个完全不一样的全新技术支撑。

领跑

与上一代视频编解码标准HEVC相比，VVC可以在视频编码效率提高50%的情况下达到相同的主观质量，并且有效支持4K和8K超高清和高动态视频编码。此外，这个标准的设计者们从一开始就考虑到了众多新兴的视频应用场景，因此它的名称中含有“多功能”（versatile）这个词。

IAM认为，识别VVC技术领导者的一个方法是分析各公司参与VVC标准开发的情况。一个公司，如果定期参与标准制定，往往会在JVET中获得信誉，从而有机会将自己的技术推荐出来，以纳入标准。

因此，一家公司获批提案的数量和分析，可以作为衡量该公司在标准开发方面拥有的份额和影响力的一个尺度。

截至2021年2月，IPlytics平台数据库收集了8000多份VVC贡献，其中只有大约1100份VVC贡献被确定纳入最终的VVC标准。

高通在VVC标准贡献者排行榜上名列第一，占比16.39%，其次是华为（12.95%）、字节跳动（9.33%）、夏普（8.97%）和联发科技（8.70%）。在排名前五的公司中，字节跳动是唯一一家没有参与VVC上一代标准HEVC的开发的公司。

这可能反映出，标准的制定具有协作和反复的特征，即一个参与者的技术可能最终出现在另一个参与者贡献的提案里，因为后者独立地研发出了类似的创新，或者因为双方进行了非正式协作——有时在这种协作中是不署名的。不管是哪种情况，图中的统计数据为外界了解哪些公司可能拥有必要专利、以及它们的专利库的相对深度提供了一个很好的起点。