NVIDIA | 一种重建照片的 AI 图像技术

简评:或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~

前几天,NVIDIA 的研究人员介绍了一种新的 深度学习 方法,使用该方法可以重建缺失像素的图像内容。

这种方法被称为「image inpainting」,可以在图像编辑软件中去除不需要的内容,同时用计算机生成的内容进行填充。

虽然有点类似于 PS 中「内容识别」的效果,但是这种新的方法能够处理更大范围的图像缺失,而不仅仅限制在图像中心附近的矩形区域。

简单说就是用神经网络自己想象空白部分的细节。

【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】

研究团队训练这个神经网络,首先生产了 55116 个随机条纹和任意形状大小的孔径,并且创建了 25000 个测试。为了提高重建的准确性,团队根据输入图像的大小进一步分为了 6 类:


为训练生成的蒙版示例

数据集采用 ImageNet,Places2 和 CelebA-HQ。

在训练阶段,将缺失部分引入上述数据集的完整训练图像中,以使网络能够学习重建像素;

在测试阶段,将没在训练期间应用的缺失部分引入数据集中的测试图像里,用以无偏验证。

过往的方法很容易出现颜色差异或者伪像的弊端,但这种新方法由于不依赖必须提供给神经网络确定的输入值,因而输出值与每个接受域缺失像素的值无关,所以这个模型效果要胜过以前的方法。

Reference:
· New AI Imaging Technique Reconstructs Photos with Realistic Results
· [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions

More:
· 用 VR 的方式浏览源代码
​ zhuanlan.zhihu.com

posted @ 2018-05-14 10:33  极光JIGUANG  阅读(508)  评论(0编辑  收藏  举报