CVPR 2020 Oral｜效果超群的老照片“复活”算法

介绍一篇新出的CVPR 2020 Oral 论文 Bringing Old Photos Back to Life ，老照片的修复，在视觉效果上看效果超群。该文作者来自香港城市大学、微软亚洲研究院、微软云+ AI、中国科学技术大学。下图为使用该文方法修复的视觉效果：

 

 

 

 无论对于有斑点的污损、照片模糊、还是噪声影响，是不是修复效果都还是很显著的？

该文方法可以处理更接近真实场景的结构化和非结构化的复杂的混合降质。

通常使用深度学习方法进行图像修复需要得到降质前后的图像，但对于老照片这是不存在，所以需要合成老照片和与其对应的未降质图像，但因为老照片含有胶片颗粒化、褪色、损伤等降质，难以合成高质量的未降质图像。

该问题设计到三个域：老照片域、合成老照片域、合成的未降质的老照片域。如下图：

 

 

 

主要思路：

作者使用变分自动编码机（VAE）将图像变换到隐空间，并在隐空间进行图像恢复操作。如下图所示：

 

作者使用了两个VAE，第一个VAE用于将真实老照片和合成老照片进行编码到隐空间，训练时同时加入一个对抗学习鉴别器。第二个VAE用于将干净的合成老照片进行编码。

然后，在隐空间学习从污损的老照片到干净图像的映射。同时为了处理复杂的图像退化，作者在此映射的学习中使用了带有partial nonlocal block的全局分支（global branch），用于处理结构化缺陷（例如划痕和灰尘斑点）；和一个局部分支，用于处理非结构化缺陷（例如噪声和模糊）。

在第一个VAE中实现了域对齐，实现了更好的老照片修复。

修复效果：

下图为与其他state-of-the-art方法修复结果的比较（请点击查看大图）： 

 

可见视觉效果提升是很明显的。

下表为在合成的DIV2K数据集上的数值比较结果：

与其他方法比，结果并不是最好。

但关键老照片恢复还得看视觉质量，于是作者们也进行了用户调查：

 

 

这次就很拔群了！期待作者代码开源出来，试一试！

更多结果：

 

论文地址：

https://arxiv.org/pdf/2004.09484.pdf

项目地址: 

http://raywzy.com/Old_Photo/