去雨系列论文笔记
论文：Restoring An Image Taken Through a Window Covered with Dirt or Rain
首页：https://cs.nyu.edu/~deigen/rain/
傅雪阳首页：https://xueyangfu.github.io/
厦门大学智能数据分析与处理实验室：
https://xmu-smartdsp.github.io/
1. Restoring an image （ICCV 2013）
在我们拍摄照片的时候会遇到透过玻璃拍摄的场景，如窗户、车窗，或者透过玻璃自拍等，而玻璃上的污渍会影响照片的效果，这篇论文针对这类透过玻璃拍摄的照片，进行污迹或者雨渍的去除。
CNN结构同LeNet，函数表示：
$x$ 表示$N × M × 3$的RGB输入图像，激活函数使用tanh，第一个卷积层使用“valid”填充，卷积核大小为16X16（果然年代久远，还有偶数的大卷积核）；最后一层使用“full”填充，卷积核大小为8；中间使用$1*1$的卷积，通道数为512，共两个中间层（L=3）。所以：W1 ：16X6X3X512，W2：1X1X512X512，W3：8X8X512X512。
损失函数采用输入标签和网络输出的MSE：
输入为64X64大小的图像块，输出大小为56X56，做MSE时，和GT中间56X56对应像素相减。采用随机梯度下降（SGD）更新可训练参数：
$\eta$为学习率，参数初始化使用均值为0，方差为0.001的正态分布，偏置b初始化为0，学习率衰减因子：0.001，不使用动量和权重正则化。
测试环境：Matlab + Nvidia GTX 580；耗时：3888 × 2592 彩色图像60s，1280 × 720彩色图像7s。
2. Clearing the Skies (TIP 2017)
论文主要借鉴上一篇文章的网络结构，设计了一个改进的单图像去雨CNN结构，主要改进点：
- CNN映射有雨图和去雨图的细节层，而不是直接在原图建立映射关系。
- 未将网络结构复杂化，而是通过雨滴先验知识进行图像预处理，改变了优化的目标函数。
网络结构
CNN结构函数表示：
作者把雨滴视为图像高频部分，通过低通滤波（引导滤波、双边滤波或者滚动滤波）将有雨图I和其无雨图标签J分别分为基础层和细节层：
基础层为平滑后的图像，有：$I_{base} ≈ J_{base}$，所以只需要建立两个细节层的映射关系即可，损失函数由原来预测图与标签图的MSE变为了:
训练时，参数设置同第一篇论文一致，输入64X64图像块，输出56X56大小图像，
图像增强处理
网络训练完成后，去雨结果图像可以直接通过以下运算得到：
但是在雨比较大的情况下，会出现雾的情况，影响视觉效果，所以对基础层和输出的细节层做了图像增强：
3. deep detail network (CVPR 2017)
论文在上一篇的基础上进行了进一步优化，设计了一个改进的单图像去雨CNN结构，主要改进点：
- 建立真实图像和雨图之间的负残差映射，再次缩小映射范围，优化映射空间。
- 使用残差结构，可以使用更深的网络建立映射关系，并通过先验知识，输入图像细节层。
CNN结构函数表示：
其中，
L为CNN总层数，*表示卷积操作，BN表示batch normalization，$\sigma$表示激活函数ReLU，不使用池化操作。
利用引导滤波将雨迹图划分为细节层和基础层（同上一篇），
损失函数：
参数设置：层数L=26，优化器：SGD，权重衰减因子$10^{-10}$，动量0.9，batch size：20，初始学习率：0.1，迭代100K/200K时除以10，共迭代210K次，卷积核大小为3，个数为16。
4. Residual-Guide Network (ACM MM 2018)
同样采用负残差映射的思想设计了一个CNN单图像去雨网络ResGuideNet，主要贡献点：
- 通过由浅入深的Block结构，获取由粗到细获取负残差输出。
- 通过联合损失优化每个Block输出，根据集成学习的思想融合所有负残差输出。
CNN结构函数形式：
特征复用：通过密集连接复用每一个Block输出的负残差特征。
循环计算：如结构图左下角左下角所示，为平衡模型参数和性能，每个Block内部的两个卷积层采用循环计算的策略加深Block深度，函数表示：
为了避免结构加深带来的梯度消失的问题，将Block第一个 Conv+LReLU的输出加到每个子循环中：
块间融合：如结构图右下角所示：通过集成学习的思想将不同Block的预测结果concatenate在一起，最后通过1X1卷积得到最后的结果。
损失函数：对于每一个Block，采用$L_2$+SSIM loss 损失函数：
M个Block和最后merge输出的总损失：
实验细节：环境：python + TensorFlow、NVIDIA GeForce GTX 1080(8GB)，初始化：Xavier，优化器：RMSProp，初始学习率： 0.001，batch size：16，迭代次数：50000，每层卷积为：16个3X3，输出层卷积，3个1X 1。
5. Lightweight Pyramid Networks (T-NNLS 2019)
为了使去雨网络更轻量化，使其适用于移动设备，作者提出了轻量级的金字塔去雨网络LPNet，参数量少于8K，主要贡献：
- 将传统的高斯-拉普拉斯金字塔运用到CNN中，使用一个参数量少的小网络可实现很好的结果。
- 结合多尺度、循环计算和残差学习技术，在大雨场景下，也能很好地实现单图像去雨。
CNN结构函数形式：
a、构建拉普拉斯金字塔
b、特征提取网络
c、循环模块
d、重建高斯金字塔
作者之前提出方法（方案二、方法三）通过引导滤波将图像分解成基础层和细节层，运用细节层训练可以有效减小优化空间，但是引导滤波针对雨量比较厚的图像达不到很好的细节提取效果。于是，作者使用拉普拉斯金字塔将图像分解为不同尺度的图像金字塔，最后融合不同尺度图片的处理结果。
损失函数:
实验细节：
5个尺度的拉普拉斯金字塔：[0.0625, 0.25, 0.375, 0.25, 0.0625]为构建高斯金字塔的固定平滑核。
所有子网络结构相同，卷积核个数不同，$W{0,1,3,4}$卷积核大小为3x3，W2卷积核大小为1，每个子网络循环block次数T = 5，激活函数LReLUs，参数为:0.2。
使用生成的雨图，包含大雨图像和小雨图像，输入大小$80 × 80$ 图像块，Adam优化器，batch size为10，学习率：0.001，epoch为3。
想了解更多，请关注公众号：AI搞事情
