低光照图像增强Underexposed Photo Enhancement using Deep Illumination Estimation论文阅读笔记

文章概述

      这篇文章来自 CVPR 2019。文章提出了一种新的端到端图像增强网络，该网络没有像以前那样直接学习图像到图像的映射，而是在网络中引入中间光照，将输入与预期的增强结果相关联，从而增强了网络从经过专家修饰的输入/输出图像对学习复杂的摄影调整的能力（没有直接学习图像到图像的映射，而是设计网络，首先估计用于建模各种光照条件的图像到光照的映射，然后使用光照映射照亮曝光不足的照片）。通过这种方法，使得学习过程有效，推断出丰富多样的摄影调整。此外，为了降低计算成本，采用了基于双边网络的上采样，并设计了一个在光照上采用各种约束条件和先验的损失函数，使其能够有效地恢复自然曝光、对比度合适、细节清晰、色彩鲜艳的低曝光图片。

      论文链接：https://openaccess.thecvf.com/content_CVPR_2019/html/Wang_Underexposed_Photo_Enhancement_Using_Deep_Illumination_Estimation_CVPR_2019_paper.html。

      项目地址：https://github.com/Jia-Research-Lab/DeepUPE。

主要贡献

      提出了一种基于图像到光照映射的低曝光图像增强网络，并基于光照约束和先验设计了一种新的损失函数；

      准备了一个新的数据集，包含3000张曝光不足的图像，每一张都有经过专家修饰的参考图像；

      利用已有的和新的数据集对该方法进行了评价，定性和定量地证明了该方法的优越性。

相关工作

      在相关工作部分，作者主要介绍了基于 Retinex 理论和基于学习的方法，并在这部分指出了自己工作的突出点。

      基于 Retinex 理论的增强算法：假设图像可以分解为反射率和光照的像素级乘积，基于 Retinex 理论的方法将反射率分量视为增强图像的似是而非的近似。因此，图像增强可以表述为光照估计问题，其中光照估计用于增强曝光不足的照片。然而，由于颜色通道的非线性和数据的复杂性，现有的方法对颜色的增强能力有限，因为颜色很容易在局部失真。这篇文章也考虑到照明估计，但它在两个方面提高了技术水平。首先，神经网络利用大量的照片在不同的光照条件下学习光照，并对各种摄影调整进行建模。其次，该方法能够从多通道照明中使非线性色彩增强。

      基于学习的方法：最近在图像增强方面的努力主要是基于学习的，文章中介绍了一些采用深度学习的图像增强方法，如基于深度自编码的低光图像增强方法、基于双向生成对抗网络的非配对学习模型、基于弱监督图像到图像的 GAN 网络等。这篇文章在两个方面补充了现有的基于学习的方法。首先，估计光照映射，不像其他基于图像到图像的回归。其次，文章中的新数据集正好适合曝光不足的图片增强，它补充了其他基准数据，并在不同的光照条件下提供了更多的实际例子。

方法

图像增强模型

      从根本上讲，图像增强的任务可以被看作是寻求一个映射函数 F，例如 Î =F(I) 是想得到的图像，从输入图像 I 增强得到 Î。在最近的基于 Retinex 理论的图像增强方法中，通常将 F 的逆函数建模为光照映射 S，它与反射率图像 Π以像素级的方式相乘，生成所观察到的图像 I：I=S*Î。其中 * 表示以像素级的方法相乘。

      这篇文章也将反射率分量 Π作为曝光良好的图像，在模型中，将 Π作为增强结果，I 作为观测到的低光图像。一旦 S 已知，就可以通过 F(I)=S^-1*I 得到增强结果 Î。与现有工作不同，本文将 S 建模为一个多通道（R,G,B）数据，而不是单通道数据，以提高其建模颜色增强的能力，特别是处理不同颜色通道之间的非线性。

      这项工作有效的原因：通过在网络中引入中间光照，训练网络学习图像到光照(而不是图像到图像)的映射。其主要优点是自然图像的光照映射通常具有相对简单的形式和已知的先验。因此，该网络具有较强的泛化能力，能够有效地训练，学习复杂的摄影调整，适应不同的光照条件。此外，该模型可以通过制定光照约束来定制增强结果。例如，可以通过加强局部平滑照明来增强对比度，或者通过限制光照强度来设置首选曝光级别。

网络体系结构

      如图展示了网络的 pipeline，该 pipeline 具有光照映射的有效学习和网络计算的高效两大优势。

      有效学习：增强曝光不足的照片需要同时调整局部特征（如对比度、细节锐化、阴影和高光）和全局特征（如颜色分布、平均亮度和场景类别）。本文从编码器网络产生的特性来考虑局部和全局环境，如图顶部。为了驱动网络从输入的低曝光图像（I_i）和相应的专家修饰的图像（Î_i）中学习光照映射，设计了一个损失函数，该函数对光照具有先验的平滑性，对增强图像具有重建和颜色损失，如图底部。这些策略从（I_i，Î_i）有效地学习 S，通过丰富的摄影调整来恢复增强后的图像。

      高效运行：网络学习用于预测低分辨率图像到光照映射的局部和全局特征，并基于双边网络进行上采样，将低分辨率预测扩大到全分辨率。因此，大部分网络计算都是在低分辨率领域进行的，能够实时处理高分辨率图像。

 

损失函数

      网络从 N 对图像（I_i，Î_i）中学习光照映射，它产生 S 和增强结果 F(I)=S^-1*I，在网络训练过程中，设计了一个由三个部分（重建损失、平滑度损失、颜色损失）组成的损失函数L，并将其最小化，它表示为：

 

      重建的损失：为了得到预测的光照 S，定义重建误差函数：

 

      其中 I_i 和 Î_i 中的所有像素通道归一化为[0,1]，()c∈{r,g,b} 表示像素颜色通道，(I_i)c≤(S)c≤1 是多通道光照范围约束。因为 F(I_i)=S^-1∗I_i，设置 I_i 为 S 的下界，以确保增强结果 F(I_i) 中的所有颜色通道都以 1 为上界，从而避免颜色超出范围，而将 1 设置为 S 的上界可以避免错误地使曝光不足的区域变暗。

      平滑度损失：根据先验平滑度，自然图像中的光照通常是局部平滑的。网络中采用这一先验有两个优点。首先，有助于减少过拟合，提高网络的泛化能力。其次，增强了图像对比度。当相邻像素 p 和 q 具有相似的光照值时，它们在增强图像中的对比度可以估计为：

 

      由于 S≤1，因此它也应该被放大。因此，将图中预测的全分辨率光照的平滑度损失定义为：

 

      对所有像素的所有通道 (c)求和，∂x 和 ∂y 是图像空间中水平和垂直方向的偏导数，前面的系数表示空间变化（每个通道）的平滑度权值，表示为：

 

      其中，L_i 是输入图像 I_i 的对数图像，θ = 1.2 是控制对图像梯度的敏感度的系数。

      颜色损失：制定颜色损失使生成的图像 F(I_i) 中 I_i 的颜色与相应的专家修饰图像 Î_i 中的颜色匹配：

 

 

      式中 ()p 表示像素，∠(，)是一个运算符，它将 RGB 颜色作为三维向量计算两种颜色之间的夹角。

结论

      这篇文章提出了一个新的端到端网络来增强曝光不足的照片。文章的核心思想是学习图像到光照(而不是图像到图像)的映射，利用自然图像中光照的简单性，让网络有效地学习丰富多彩的摄影调整。此外，设计了一个损耗函数，采用光照方面的各种约束和先验，创建一个包含3000对曝光不足图像的新数据集，使网络能够在曝光不足的照片中恢复清晰的细节、鲜明的对比度和鲜艳的颜色。作者在不同的数据集上进行了广泛的实验，将该方法和五个最先进的方法进行比较，来展示该方案在视觉对比上的优越性，定量比较了 PSNR 和 SSIM 指标，以及一个涉及500名参与者的用户研究。

      作者还指出了未来的工作是将去噪模块合并到该网络中，并将该方法扩展到视频处理。另一个方法是利用场景语义分析和摄影图像合成技术来解决接近黑色的区域。