电影AI修复，让重温经典有了新的可能
摘要：有没有一种呈现，不以追求商业为第一目的，不用花大价钱，不用翻拍，没有画蛇添足，低成本的可共赏的让经典更清晰？
本文分享自华为云社区《除了重映和翻拍，重温经典的第三种可能》，原文作者：音视频大管家。
时隔12年，《阿凡达》重映了，国内重映票房累计预估14.8 亿元人民币！！！
经典就是经典！
说到经典重映，没有奥斯卡最佳摄影、最佳视觉效果、最佳艺术指导三大奖项加持，很难有哪部电影，能有《阿凡达》这样重映的底气吧。包括《泰坦尼克号》、国内星爷的《功夫》等，更多是花大价钱做修复，甚至还原成3D版，客观说市场效果一般。
为了经典再现，翻拍也是一个方式，如《大话西游III》、《倩女幽魂》、《白蛇传说》，结果观众并不买单。毕竟成为经典除了剧情和导演，还有演员以及时代的特征等因素的共同作用，所以翻拍一不小心就失去了原有的味道。
有没有一种呈现，不以追求商业为第一目的，不用花大价钱，不用翻拍，没有画蛇添足，低成本的可共赏的让经典更清晰？
有！因为人们对经典影片再次精彩呈现的追求，从未止步。为了让经典重新焕发光芒，华为云视频云开启了香港经典电影的高清修复之路。
这个周末，重温80后的青春记忆就在华为视频APP。
一、电影修复要做什么
先做一个范畴设定：我们今天聊的是电影AI修复的问题。所以高成本多人力投入类似《泰坦尼克号》的修复不在此范畴。
电影修复最直观的是让图像更清晰。第一步需要了解图像不清晰的原因是什么。我们直观理解是：时间太久了。
从专业的角度来说，电影的修复，除了视频修复外，还需要做视频增强的处理，这样才能达到更好的效果。
1.视频修复
视频修复要解决的问题是：视频在拍摄、压缩、传输、存储等环节由于各种原因导致的视频画质问题。这些画质问题展开来说包括：划痕、压缩失真、噪点等。为了帮助大家更直观了解这些问题对画面的影响，我们找来了某些方面的问题比较突出的图片。
保存或搬运受损导致的划痕
压缩带来的失真
拍摄设备局限产生的噪点
当然，以上图片并非只有一个问题。同样，在电影修复的真实场景中，往往包含多种失真，且失真程度差异大。修复起来就得综合考虑。
2.视频增强
视频增强主要增强哪些部分？肉眼如何辨别增强效果？
视频增强的效果一般从四个方面来体现：分辨率、帧率、动态范围、色域。
- 高分辨率
分辨率在这里指显示器所能显示的像素有多少。显示器可显示的像素越多，画面就越精细。很明显，4K能显示的比720P显示的就清晰很多。视频增强可以提升分辨率。
- 高帧率
我们都知道，视频是由一帧帧图片组合而成。可以将左边的视频理解为1秒钟有24帧图片，右边1秒钟有60帧图片，很明显，右边的视频看上去更加流畅顺滑。
- 高动态范围
高动态范围简称HDR，标准动态范围简称SDR。通俗讲，在SDR的基础上，HDR能做到让画面亮的地方更亮，暗的地方更暗；色彩的范围可以由BT709增加到BT2020；并且色彩的变化也会更加平滑。
- 广色域
广色域，可以理解为单独对颜色的范围进行调整，由原来的709BT提升到2020BT。
总之，视频增强主要是在以上四个方面增强效果，解决的是因显示硬件升级，使得先前采集、制作的视频无法最优匹配的问题。
二、电影修复的三大挑战
目前要自动修复老电影，并非易事，面临着三大挑战：数据、算法、评价。
1.数据挑战：盲修复任务的泛化能力提升
电影的失真往往包含了上述多个问题，也就是混合失真。盲修复，就是在修复之前，并不清楚视频中有哪些问题，用的是泛化的算法，面临难题是：如何提升泛化算法的自适应性来应对多种修复场景；如何利用少量对比的数据，提升学习效果。
混合失真
强度不一失真
2.算法挑战：如何同时让图像各个方面质量得到提升
与失真的情况一样，视频增强在实际应用中，往往是多任务组合，如将1080p 30fps SDR提升为4K 60fps HDR视频。即同时需要将图像分辨率由1080变成4000，将每秒的帧数由30提升到60，将标准动态范围转为高动态范围。说人话就是让视频的图像像素更高、光线更清晰、色彩更饱满、颜色过度更顺滑、运动画面显示更流畅。这就要求多任务之间的优化需要联合增强。
3.评价挑战：针对生成图像的质量评价
传统的评价算法主要有PSNR，SSIM，VMAF，然而表现并不好。基于深度学习的修复增强算法，输出信号特征与原图差异巨大。举个例子：图片Reference经过一定处理以后，如果用传统的评价算法，得出的是Patch0，而我们主观评价是Patch1. 说明传统评价算法与主观评价算法不太一致，这就需要新的评价算法。
三、华为云视频云如何修复电影
先来直观感受一下华为云视频云修复电影前后的对比，点击查看《黄飞鸿》修复片段
1.电影修复技术架构
为了使修复做到轻量化、低成本以及自适应，华为云视频云构建了一整套电影修复技术架构。该架构包括质量检测、算法调度以及主客观评价三个环节，具体如下：
2.具体操作
- 混合失真修复
华为云视频云在处理失真问题时，将传统强度检测作为先验输入，即对可能存在的失真问题，先预判，然后输入AI算法中，再构建多任务混合失真修复模型，最后进行修复。
- 空域增强：基于语义特征的视频超分
超分就是指通过媒体处理技术将分辨率低的图片变为分辨率更高的图片。超分实现的原理是：先利用了大量的高分辨率图像积累并进行学习，再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行恢复，最后得到图像的高频细节，获得更好的图像恢复效果，提高图像的识别能力和识别精度。
对大部分电影、电视剧，受众往往更关注人脸及字幕，所以这两者是重要的增强区域，且具有较强先验。华为云视频云从网络轻量化、稳定性、综合效果等角度出发，实现了一种基于语义的自适应超分算法。对比可参考下图：
- 时域增强：插帧
空域与时域是一个相对概念，如果把空域理解为影片当中的某一个画面，那么时域更关注的是画面之间的衔接关系。如果空域增强是对每个画面的增强，那么时域增强在视觉感知上，往往指影片画面与画面之间的衔接更顺滑与流畅。所以在视频增强过程中，插帧是强依赖于运动估计。这个估计准确度又会受遮挡、小物体大运动、重复纹理、运动模糊等场景的影响。
华为云视频云通过改进网络，结合传统方法，如参考时空域上相邻的运动向量对光流进行修正，如下：
- 对比度与饱和度增强
现有基于深度学习的对比度和饱和度增强算法，由于数据的不足，难以达到好的效果。华为云视频云通过寻找图像在亮度和色彩空间的统计规律，作为网络先验输入，能较好解决数据问题。
说了这么多，你一定想问，在哪里可以看到啊？
小编不卖关子了，请移步华为视频-电影-高清修复，欢迎对比提建议。
这个周末，让我们一起重温星爷的老电影，还有那些曾经的经典之作。
同样的片段，现在的你和曾经的你，心境是否一样？
