【TIP2021】A Progressive Coupled Network for Real-Time Image Deraining
Rain-Free and Residue Hand-in-Hand: A Progressive Coupled Network for Real-Time Image Deraining, TIP 2021
1、背景
当前的图像去雨方法计算和存储开销非常大，比如说RESCAN方法处理1280X720的图像需要在 TITAN X 上消耗1.532秒。因此，需要面资源有限的移动设备开发高效实时的图像去雨方法。
当前方法大多通过学习 residual components (也就是雨水)，来实现去雨，类似于残差学习的思想，收敛更快，但是却不适用于复杂场景。有学者把雨水分为多个层次（multiple layers of rain streaks），按照如下方式建模：
其中\(n\)表示雨的层数，\(I_{R,i}\)表示第\(i\)个雨水层。在本文中，作者把学习过程定义为几个阶段，如下所示：
其中\(f(I_{i,R}+I_{i,B})\)代表了雨水和背景间的 blending relation。
2、总体框架
作者提出了一个轻量级但有效的 progressive coupled network (PCNet)，总体架构如下图所示。包括几个级联的coupled representation module (CRM)，一个reconstruction and reproduction module (RRM)。
对于输入图像，首先使用3X3卷积来生成初始特征\(f_{ini}\)。然后，采用两个depth-wise separable conv 来生成初始的背景图像\(f_{0,B}\)和雨水图像\(f_{0,R}\)。然后，使用步长为2的卷积进行下采样，输入3个CRM依次处理。最后，又采用transposed conv来恢复尺度，输入RRM，得到无雨图像\(I^*_B\)和雨水图像\(I^*_R\)。最后，使用 selective kernel convolution来融合结果。训练中损失函数的设计为：
其中，Charbonnier penalty function可以在训练中更快收敛，\(\epsilon=0.001\) , \(\lambda=0.2\)。
Coupled representation module. 该模块结构如下图所示，由一个特征提取模块（FEB）和一个耦合表达模型（CRB）组成。FEB是一个非对称的结构，上面为identity mapping，下面为 Channel attention unit （具体为何安排论文里并没有说明）。CRB采用了一个耦合对称的结构，\(g_{i,R}\)和\(g_{i,B}\) 通过一个sigmoid函数生成 attention mask \(M_R\) 和 \(M_B\) 。具体细节可以参考作者论文，这里不再多说。
3、实验
论文的实验部分非常丰富。在消融实验和参数分析里，结果表明 PCNet 与它的 incomplete version 相比能够取得最好的效果。The results reveal that the coupled representation mechanism could encode the complementary or redundant information between the rain-streak branch and rain-free branch, thereby improving the estimation accuracy. 同时，作者还分析了模型中 CRM 个数和 CAU 个数两个参数的选择，具体可参考论文。
在与SOTA的对比方面， 作者先后在合成数据、真实数据、Rain-Haze数据上展开实验。结果表明，PCNet is highly competitive as compared with top-performing deraining methods.
此外，作者指出，the accuracy of downstream tasks can be effective and direct metrics to evaluate a deraining model. For example, object detection and segmentation performance on the derained images using the standard algorithms. 因此，作者还做了目标检测与分割方面的实验。
为了表明该方法具有较好的泛化能力，作者还针对 dehazing, low-light enhancement 进行了实验，结果表明，PCNet方法仍然能够取得较好的效果。
