NVIDIA | 一种重建照片的 AI 图像技术
简评:或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~
前几天,NVIDIA 的研究人员介绍了一种新的 深度学习 方法,使用该方法可以重建缺失像素的图像内容。
这种方法被称为「image inpainting」,可以在图像编辑软件中去除不需要的内容,同时用计算机生成的内容进行填充。
虽然有点类似于 PS 中「内容识别」的效果,但是这种新的方法能够处理更大范围的图像缺失,而不仅仅限制在图像中心附近的矩形区域。
简单说就是用神经网络自己想象空白部分的细节。
【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】
研究团队训练这个神经网络,首先生产了 55116 个随机条纹和任意形状大小的孔径,并且创建了 25000 个测试。为了提高重建的准确性,团队根据输入图像的大小进一步分为了 6 类:
为训练生成的蒙版示例
数据集采用 ImageNet,Places2 和 CelebA-HQ。
在训练阶段,将缺失部分引入上述数据集的完整训练图像中,以使网络能够学习重建像素;
在测试阶段,将没在训练期间应用的缺失部分引入数据集中的测试图像里,用以无偏验证。
过往的方法很容易出现颜色差异或者伪像的弊端,但这种新方法由于不依赖必须提供给神经网络确定的输入值,因而输出值与每个接受域缺失像素的值无关,所以这个模型效果要胜过以前的方法。
Reference:
· New AI Imaging Technique Reconstructs Photos with Realistic Results
· [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions
More:
· 用 VR 的方式浏览源代码
zhuanlan.zhihu.com