论文阅读笔记《Gated Context Aggregation Network for Image Dehazing and Deraining》WACV19
目录：
- 相关链接
- 方法亮点
- 方法细节
- 实验结果
- 总结与收获
相关链接：
论文：https://arxiv.org/abs/1811.08747
源码：暂无
方法亮点：
- 提出端到端的去雾网络，不依赖于先验
- 采用了smooth dilated convolution 代替原有的dilated convolution，解决了原来的dilated convolution导致的grid artifacts 问题
- 提出了一个gated fusion sub-network，融合high-level 及low-level 特征，提升复原效果
方法细节：
1、smoothed dilated convolution
上面的图表示的是原始的空洞卷积的工作，从图中不同颜色的块块可以看出，经过dilated rate(r)>1的空洞卷积后，输出的特征层中相邻的特征值与输入特征层是完全独立的，没有相互依赖的关系，我们可以知道，图像是具有局部相关性的，同理，特征层也应该保留这个特性。
下面的图是经过改进的空洞卷积，在执行dilated rate>1的空洞卷积之前，做了一次核为（2r-1）的分离卷积，卷积的参数共享，经过该层卷积之后，每一个特征点都融合了周围（2r-1）大小的特征。该操作仅仅增加了(2r-1)(2r-1)大小的参数，却能有效的解决grid artifacts问题。
2、Gated fusion sub-network
该子网络主要是融合了不同层次的特征信息，以往的网络都是直接添加short-cut操作进行信息融合，本文的Gate fusion network 为不同层次的特征分别学习了权重，最后加权得到融合的特征层。
3、network
这篇文章的网络很简单，可以看做简单的三个部分:encoder,feature transfer,decoder.其中feature transfer部分是由若干个残差块组成的，残差块的卷积用到的是上面提到的smooth dilated convolution.encoder 第三部分中使用到一次下采样，相应的decoder中第一部分用到上采样。
这篇文章用到的损失函数相当的简单，就是一个简单的MSE，感觉作者还会就这个议题，再发一篇文章，可以关注一下。
实验结果：
为了验证文章提出的两个结构的有效性，及将BN层改成IN层对该课题是有改进的，文章给出了在SOT indoor数据集上的ablation study .
smoothed dilation 模块的改进，提升了1PSNR，gated fusion 网络提升了约0.5PSNR，将BN改成IN也能提升将近1PSNR，从实验结果来看，文章提出的每个小改进都是很有效的，令人意外的是文章的baseline,竟然有这么好的效果
这篇文章的结果可以说是相当美丽了，PSNR及SSIM直接是质的飞跃。是一篇值得复现的文章。
视觉效果也还不错，但是GFN方法的视觉效果其实也是不错的，猜测是本文的方法恢复的结果，颜色信息更接近GT，所以PSNR更高。
为了验证本文提出的方法具有通用性，文章给出了在去雨数据集上的实验结果。这个PSNR结果也是相当美丽，就是有点好奇为什么不给出SSIM的结果呢？
总结与收获：
文章中采用的smoothed dilated convolution 及 gated fusion 网络在大部分图像复原中应该都能起到不错的作用。从SE-block之后，可以看出现在大部分工作对特征层的融合方式也有了新的考量，而不是简单的concat，包括本文的gated fusion也是基于这样的思想。
