视频编码的未来

参考：https://mp.weixin.qq.com/s/UkpKhK9fJJ-9Uga9v8yTVg

给学生的建议
最后一个问题是“你对那些想从事视频编码研究的学生有什么建议？”

领域和新框架

[Dong] 第一点，我们鼓励学生对深度学习和视频压缩都进行充分的了解，因为许多领域都是跨学科的。第二点，我们鼓励学生学习新的框架。例如，端到端编码器最初是在像素域上进行运动估计并提取光流信息，但现在可以通过可变形卷积在特征空间上完成类似的处理。第三点，我们鼓励学术解决黑匣子之外的基本问题。因为目前很难解释神经网络为什么适用于图像/视频压缩，但这一问题十分重要。第四点，随着人工智能和深度视频压缩的快速发展，未来我们终将拥有一些可用于视频压缩、人脸识别和许多其他应用的人工智能芯片。我们鼓励学生对视频编码相关的硬件展开研究。

学习门槛——深度学习vs视频编码

[Jay] Python 和 TensorFlow 等机器学习工具的入门门槛较低。学生们很可能在三个月内就能很好地了解深度学习。相比之下，视频编码具有较高的入门门槛。新人可能需要花费 1 到 2 年的时间才能熟悉编码器的参考代码（c / c++）。高门槛是一种保护，因为其他人无法在短时间内获取相同的技能，专家也很难被取代。相比而言，深度学习从业者更易被替换，因为低门槛不仅对他们有好处，而且对其他人也有好处。

许多公司都在寻找机器学习方面的人才，但求职人数很多。尽管视频编码的工作机会较少，但求职者的数量也较少。从需求方面来看，多媒体行业需要编码工程师，目前看来供不应求。

信号处理和深度学习知识
[Shan] 传统或非基于学习的视频编码仍然是当今视频通信的主干。例如，在实时视频会议中，视频编码提供了核心功能，而深度学习可以用于一些附加功能，例如虚拟背景和脸部滤镜。在过去的 3-4 年里，我没有遇到过深度学习背景的求职者短缺的情况，但拥有视频编码专业知识的求职者并不多。与高市场需求相比，视频编码工程师的人员供应量似乎极少。一个好的视频编码工程师可以收到许多顶级公司的报价供选择。视频编码建立在信号处理理论的基础上。具有扎实的信号处理和深度学习基础的学生是公司的理想选择。

基础知识的重要性

[Jiaying] 在我 2010 年博士毕业后，我的研究方向从视频压缩转向计算机视觉任务。不过在2018年，我们的团队再次回到了视频编码领域，因为我们发现计算机视觉中的一些关键技术，可以自然地用于视频压缩方案。它有助于我们获得准确的预测或拟合更复杂的关系。

我们团队还对机器视频编码非常感兴趣，这一方向将信号处理和计算机视觉结合在一起，并使用神经网络作二者间的桥梁。

其他的很多新方向都扩展了视频编码的研究范围。不过我认为基础知识非常重要，尽管我的学生都非常熟悉网络调参，但信号处理方法的知识可以给我们很大的启发。