《DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks》研读笔记

《DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks》研读笔记

论文标题：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

来源：ICCV 2017

摘要：

　　尽管手机中的嵌入式照相机的性能在快速地发展，但是它们所受到的物理限制——较小的感光器件，精简的镜头和缺少特定的硬件——制约着手机的相机拍出与DSLR（单反）同样质量的照片。在本工作中，我们展示了一个端对端的深度学习的方法来弥补这一差距，该方法可以通过将原始的手机相片转换为高质量的单反相机拍出来的图片。我们提出通过应用残差卷积神经网络来提升图片的颜色呈现和图像的锐度。由于标准的均方误差并不适合用来衡量图像的感知质量，因此我们引入了一个由内容误差、颜色误差与纹理误差合成的感知误差函数。头两个误差通过分析得出，纹理误差则通过一种对抗式的方式学习得到。我们还展示了DPED，一个大规模的包含采自于三个不同的手机和一个高端反光相机图片的数据集。我们定量和定性的评估表明通过所提出的算法增强后的图片的质量和单反相机拍出的照片的质量是相当的，同时结果还表明该方法还可以被应用任何类型的数码相机中。

论文主要内容：

1、引言

　　尽管最近几年手机相机中使用的精简的感光单元取得了极大的进步，使得手机的拍照效果获得了巨大的提升。然而，目前手机的拍照效果依然不如单反数码相机的效果好。因为单反相机有着更大的感光单元和大口径光学镜头，这使得照片能够有更好的分辨率、颜色呈现效果。鉴于额外的感光器件帮助调整拍摄参数，也有着更低的噪声。这些物理差异为手机相机的拍照质量造成了极大的阻碍，使其难以获得与单反相机同样的拍摄效果。现有的一些图像自动增强的工具一般都关注的是全局参数的调整，例如：对比度和亮度，忽视了纹理的质量与图像的语义。此外，这些工具一般都使用一些预定义（pre-defined）的规则，而并没有考虑到某一设备的特性。因此，图片处理的主要方式人工通过某种图像修整工具来完成。

1.1 相关研究

　　图像质量增强和如下的几个子领域有关：

　　（1）图像超像素（super-resolution）；

　　（2）图像去雾(dehazing)；

　　（3）图像去噪(denoising)；

　　（4）图像上色(colorization)；

　　（5）图像调整：曝光调整、风格调整等。

1.2 贡献

　　（1）提出了一个新的图像增强算法，该算法基于学习手机设备照片与DSLR所拍摄的照片之间的映射函数。目标模型使用一个端对端的训练方式，因此不需要任何额外的监督或者特征工程；

　　（2）采集了一个大规模的超过6000照片的数据库，这些照片涵盖了很多场景，并且是同时由三个低端手机相机与DSLR相拍摄得到的；

　　（3）提供了一个由颜色损失、纹理损失及内容损失所组成的损失函数，保证有效的图像质量估计；

　　（4）进行了客观的、主观实验，显示了被增强的图片对原始图片的优势，同时也展现了其与单反相机间相当的质量。

2、DPED数据库

　　该数据库通过对同一场景，分别使用四个取相设备来获得。取相设备中包括三个手机相机和一个单反相机。用来采集图像的设备如下图2所示。一些图片样例子如图3所示。

　　为了保证对每一场景，四个相机能够同时取相，因此将这些设备都方式在一个三角架上面，通过无限控制系统来远程启动这四个设备。这些图像都是通过各个相机的默认设置来获取的。由于各个取相设备之间的位置和观察角度存在着区别，因此所拍出来的图片并没有很好地配准。因此文章作者还提出使用非线性变换来获得固定分辨率地图片。方法大致为：计算每一对相机图片与单反图片之间的匹配SIFT关键点。然后使用使用RANSAC来估计一个homography。最后对两张图片进行裁切，保留重叠的部分，将单反的图片的尺寸变为手机相片的尺寸。在训练CNN的时候使用的是从图片中抽取的100*100的图片块。这些图片块是使用不重叠的滑动窗口来从相机-单反图片对中抽取的。