Fork me on GitHub

2018CVPR

解密运动模糊:走向实用的非特定场景图片去模糊技术

        在慢速曝光或快速运动拍摄照片时,图像模糊常常困扰着照片拍摄者。优图实验室的研究人员开发了可以恢复模糊图像的有效新算法。在此之前,图像去模糊一直是图像处理中困扰业界的难题。 图像模糊产生的原因可能非常复杂。比如,相机晃动,失焦,拍摄物体高速运动等等。现有的图片编辑软件中的工具通常不尽如人意,例如,Photoshop CC中的“相机抖动还原”工具,只能处理简单的相机平移抖动模糊。 这种类型的模糊在计算机视觉业内被称为“均匀模糊”。而大部分模糊图片并不是“均匀模糊”的,因而现有图片编辑软件的应用十分有限。腾讯优图实验室的新算法,可以处理非特定场景中的图片模糊。算法基于一种被称为“动态模糊”的模糊模型假设。它为每个像素的运动单独建模,因而可以处理几乎所有类型的运动模糊。比如,上图中,由于相机抖动而产生的平移和旋转,每个人物的运动轨迹都不相同。经过腾讯优图实验室的新算法处理后,图片已经恢复到几乎完全清晰,甚至背景中的书籍上的字也清晰可辨。

1、Referring Image Segmentation via Recurrent Refinement Networks

通过循环神经网络进行指定图像指定区域的语义分割

2、Weakly SupervisedHuman Body Part Parsing via Pose-Guided Knowledge Transfer

通过由姿态引导的知识迁移进行弱监督及半监督的人体部位分割

3、Learning DualConvolutional Neural Networks for Low-Level Vision

基于双层卷积神经网络处理低层视觉的方法

       本文提出了一个双层卷积神经网络来处理一些低层视觉问题,比如图像超分辨率、保边缘的图像滤波、图像去雨、图像去雾等。这些低层视觉问题通常涉及到目标结果的结构和细节部分的估计。受此启发,本文提出的双层卷积神经网络包含两个分支,其中这两个分支可端到端的估计目标结果的结构和细节信息。基于估计的结构和细节信息,目标结果可分别通过特定问题的成像模型来得到。本文所提出的双层卷积神经网络是一个一般性的框架,它可以利用现有的卷积神经网络来处理相关低层视觉问题。大量的实验结果表明,本文所提出的双层卷积神经网络可以应用于大多数低层视觉问题,并取得了较好的结果。

6、FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors

FSRNet:基于先验信息的端到端训练的人脸超分辨率网络

6、FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors

FSRNet:基于先验信息的端到端训练的人脸超分辨率网络

       人脸超分辨率是一个特定领域的超分辨率问题,其独特的人脸先验信息可以用来更好超分辨率人脸图像。本文提出一种新的端到端训练的人脸超分辨率网络,通过更好的利用人脸特征点热度图和分割图等几何信息,在无需人脸对齐的情况下提升非常低分辨率人脸图像的质量。具体来说,本文首先构造一个粗粒度超分网络恢复一个粗精度的高分辨率图像。其次把该图像分别送入一个细粒度超分编码器和一个先验信息估计网络两条分支。细粒度超分编码器抽取图像特征,而先验网络估计人脸的特征点和分割信息。最后两条分支的结果汇合送入一个细粒度超分解码器重构出最终的高分辨率图像。为了进一步生成更真实的人脸,本文提出人脸超分辨率生成对抗网络,将对抗思想融入超分网络中。另外,我们引入人脸对齐和人脸分割两种相关任务,作为人脸超分的新的评估准则。这两种准则克服了传统准则(比如PSNR/SSIM)在数值和视觉质量不一致的问题。大量实验显示,本文提出的方法在处理非常低分辨率人脸图像时,在数值和视觉质量两方面都显著优于以往超分方法。

posted @ 2018-05-29 20:34  ranjiewen  阅读(753)  评论(0编辑  收藏  举报