Retinex-Net 论文解读

Deep Retinex Decomposition for Low-Light Enhancement

论文地址：https://arxiv.org/pdf/1808.04560.pdf

​ 本文收集了包括低光图片与正常光图片的LOL数据集，提出了Retinex-Net网络，并在数据集上进行了测试。

​ Retinex-Net分为Decom-Net and Enhance-Net, 前者用来将图片分解为reflectance 和 illumination，后者用来增强illumination.

​ Retinex-Net是end-to-end trainable, 因此，学习到的分解结果在本质上有利于亮度的调整. 在分解网络的训练过程中，没有分解反射和光照的地面真值。该网络的学习只有关键的约束条件，包括低/正常光图像共享的一致反射率，以及光照的平滑度.

1. 理论基础

Retinex理论模仿了人类颜色感知系统，将图片分为reflection与illumination两部分，即

$$S = R \circ I\tag{1}$$

R表示reflection、I表示illumination、$\circ$表示元素层面上的乘法

2.网络结构

网络分为Decomposition、Adjustment、Reconstruction三个部分。

Decomposition负责将输入图片分解为reflection和illumination两部分；Adjustment包含去噪、基于encoder-decoder的Enhance-Net，负责去噪reflection与illumination的增强；Recontruction将去噪后的reflection和增强后的illumination融合，得到enhancement result.

2.1 Decom-Net

Decom-Net概述

​ Decom-Net网络通过low-light image与normal-light image联合训练，但在测试集上，Decom-Net只需用单独的low-light iamge即可, 并且在训练时不必提供ground truth. 网络中只需要嵌入必要的信息，包括反射率的一致性和光照图的平滑度，作为损失函数.

​ Decom-Net将图像对中的低照度图像和正常图像作为输入数据送入卷积神经网络进行分解，最后得到光照图像和反射图像.根据Retinex理论反射图像基本接近，但是两者光照图像相差很大，这样把每一张训练图像进行分解，然后再送入后面的增强网络进行训练。

Decom-Net结构细节

​ 网络的第一层为3 * 3 Conv，用于提取特征；第二层与第三层在3 * 3 Conv基础上，增加了Rectified Linear Unit激活函数；第四层3 * 3 Conv将input中的reflection与illumination提取出来；第五层将R与I限制在$[0,1]$之间.

Decom-Net损失函数

​ 损失L包括三部分：reconstruction loss $L_{recon}$, invariable reflectance loss $L_{ir}$, illumination smoothness loss $L_{is}$, 即：

$$L = L_{recon} + {\lambda}_{ir}L_{ir} + {\lambda}_{is}L_{is}$$

​ ${\lambda}_{ir}$与${\lambda}_{is}$是为了平衡反射一致性与光照平滑性的系数.

​ 1. 基于上述"反射图像基本接近，但是光照图像相差很大"的理论，将$L_{recon}$定义为：

$$L_{recon} = \sum_{i = low,normal}\sum_{j = low,normal}{\lambda}_{ij}||R_i \circ I_j - S_j||_1$$

​ 2. $L_{ir}$用于约束反射的一致性:

$$L_{ir} = ||R_{low} - R_{normal}||_1$$

​ 3. $L_{is}$用于约束光照平滑度，定义较为复杂. Total variation minimization（TV）经常被用在图像恢复任务中，它是用来最小化整个图像的梯度的函数。然而，在图像结构强烈或亮度变化剧烈的区域，直接使用TV作为损失函数是不好的。这是由于无论区域是文本细节还是强边界，照明的梯度都会均匀减少。为了使损失感知图像结构，使用反射图的梯度对原始TV函数进行加权。即：

$$L_{is} = \sum_{i = low,normal}||\nabla I_i \circ exp(-\lambda_g\nabla R_i)||$$

​ $\nabla_{ }$ 包括$\nabla_h(horizontal)$与$\nabla_v(vertical)$, $\lambda_g$为了更注意结构，$exp(-\lambda_g\nabla R_i)$即为权重，可以在梯度较大的情况下，尽量忽略平滑性约束.

2.2 Enhance-Net

​ Enhance-Net首先经过一系列的下采样操作，让网络更注重光照特性。拥有了大量光照的信息后，上采样操作将光照放大. 其中的Skip Connetction是为了跳过连接，通过元素之间的求和从下采样块引入到对应的镜像上采样块，从而强制网络学习残差。

​ Enhance-Net的损失函数包括reconstruction loss $L_{recon}$和illumination smoothness loss $L_{is}$. $L_{recon}$表示产生正常光照图$\hat{S}$,

$$L _{recon} = ||R_{low} \circ \hat{I} - S_{normal}||_1$$

$L_{is}$表示光照的梯度和

$$L_{is} = \sum_{i = low,normal}||\nabla I_i \circ exp(-\lambda_g\nabla R_i)||$$

2.3 Denoising Operation

​ 在Decom-Net网络中，一些噪声被引入图片中. 去噪算法采用了BM3D算法（Block-matching and 3D filtering，3维块匹配滤波）.

​ 论文：Image denoising by sparse 3D transform-domain collaborative ltering