图像降噪之Cycle ISP: Real Image Restoration via Improved Data Synthesis
1. 简介
谷歌去年发表了一篇文章：Unprocessing Images for Learned Raw Denoising，是关于如何构造逼近真实的数据来进行降噪的，在去年的文章里，研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程，然后将 ISP 的过程逆转过来，从 sRGB 到 RAW，然后再在 RAW 域上添加噪声，从而构造出符合真实场景的噪声数据。
今年谷歌又发表了一篇类似的文章，还是关于如何构造真实的仿真数据来做图像恢复，看来谷歌在构造数据这块已经做了很多的研究了，今年这篇文章叫 Cycle ISP, 核心思想还是基于 ISP 流程，去年的文章是一步一步通过各种算法模块，将 ISP 中的降噪，白平衡，gamma 变换，tone mapping 等串起来，今年的这篇文章直接用网络进行了端到端的模拟，不过与一般的端到端方式不同的是，这篇文章采样了一个循环的方式，从 sRGB 到 RAW 图，然后再从 RAW 图回到 sRGB, 所以这个框架称为 Cycle ISP, 有循环轮回的感觉。
2. 网络结构
整个CycleISP框架包括四个部分：
- RGB2RAW：将sRGB图转为RAW图；
- RAW2RGB：将RAW图转为sRGB图；
- Color Correction：用于辅助的颜色恢复网络，提供准确的颜色注意机制(explicit color attention)用于RAW2RGB正确地恢复RGB图；
- Noise Injection：在训练CycleISP时设置为OFF，在需要生成噪声数据时设置为ON。
CycleISP的训练分为两步：
- 分别单独训练RGB2RAW和RAW2RGB；
- 将RGB2RAW和RAW2RGB一起进行joint finetune。
2.1 RGB2RAW 分支
RGB2RAW分支的目的在于要“反转/逆向”相机的ISP效果，而且优点在于这一网络不需要任何的相机参数。
这个模块，完成 RGB2RAW 的变换，给定一张 RGB 图像，$\mathbf{I}_{rgb} \in R^{H \times W \times 3}$，先借助常规的卷积网络，得到多个 feature map，然后再利用多个 recursive residual groups (RRGs) 进一步进行特征提取，整个过程可以表示为：
$T_0
=M_0 (I
rgb
)$
$T_d
=RRG_N
(...RRG_1
(T_0))$
后面再接一个卷积层，得到 3 个通道的 feature map，最后再做一个 Bayer 模式的采样，得到输出的 RAW 图：
$I_{raw}
=f_{bayer}
(M_1
(T_d))$
这个模块，主要是利用$L_1$ loss 来进行训练：
$\mathbf{I}_{raw}$ 表示 RAW 图的 ground truth。
2.2 RAW2RGB 分支
RAW2RGB 分支，实现 RAW 图到 RAG 的转换，这个分支，首先将 RAW 图拆成 RGGB 四个通道，每个通道的分辨率都下降了一倍，从 $H \times W$ 变成了$\frac{H}{2} \times \frac{W}{2} \times 4$，然后类似 RGB2RAW, 先用一个卷积层将 4 个通道变成多个 feature map，然后再经过多个 RRG 模块，得到多个等大的 feature map，整个过程如下所示：
$T_d ′=RRG_{K−1}
(...RRG_1
(M_2
(Pack(I {raw}
))))$
不过这里需要注意的一点是，这里的 $\mathbf{I}$ 是相机原始的 RAW 图，不是 RGB2RAW 的输出，因为这两个 branch 是分开独立训练的。
2.3 颜色矫正模块
除了上面两个主要的分支，Cycle ISP 还引入了一个颜色校正模块，因为网络是基于很多不同的相机数据来训练的，而不同相机的颜色校正系数一般是不同的，所以为了统一这些数据，Cycle ISP 引入了一个颜色校正模块，这个模块是嵌入在 RAW2RGB 分支里的，color correction unit 的输入是 RGB 图像，然后经过简单的卷积以及两个 RRG，得到多个 feature map：
$T_{color}
=σ(M_4
(RRG_2
(RRG_1
(M_3
(K∗I_{rgb}
)))))$
这里* 表示卷积，K 表示高斯核，文章里用的高斯核的标准差是 12，这会带来非常强的模糊效果，从而将细节都基本去除了，只留下颜色，$T_{color}$和前面得到的$T_{d'}$ 做一个 residual 的操作：
其中$\otimes$表示 Hadamard product。
最后再利用一个卷积层，以及一个上采用操作，得到三个通道的 RGB 图像：
$I^{rgb}=M_{up}
(M_5
(RRG_K
(T_{atten}
)))$
这个分支也是利用$L_1$ Loss 来训练：
2.4 RRG: Recursive Residual Group
Cycle ISP 除了常规的卷积层， 一个特别之处在于其使用了很多的 RRG 模块，每个 RRG 模块包含了 P 个 dual attention blocks (DAB) 模块，DAB 模块，通过不同的 attention 机制对特征进行选择：channel attention 和 spatial attention，整个过程可以表示为：
$T_{DAB}
=T_{in}
+M_c
([CA(U),SA(U)])$
其中， $U\in R^{H \times W \times C }$, $M_c$表示 $1 \times 1$ 的卷积，具体的框架示意图如下所示：
2.5 CycleISP联合训练
最后对两部分进行联合训练，其中RGB2RAW分支可以接受到来自RAW2RGB分支loss的梯度，更加有利于最终sRGB图像的重建。
3. 合成真实噪声数据集
一旦 CycleISP 训练好，那么 CycleISP 可以很方便地构造训练数据对，并且可以同时构造 RAW 域数据或者 RGB 数据，输入一张 RGB 图，由 RGB2RAW 分支，可以得到一张 RAW 图，然后对该 RAW 图添加噪声，这样可以得到 $R A W_{c l e a n}$, $R A W_{n o i s y}$ 训练数据对。
同样的，根据添加噪声的 RAW 图，由 RAW2RGB 分支，可以得到添加了噪声的 RGB 图，这样就构造了 $s R G B_{c l e a n}$, $s R G B_{n o i s y}$的训练数据对。
4. 测试
最后的测试结果如下所示：
