Single Image Reflection Removal through Cascaded Refinement论文阅读笔记

这篇文章做了啥

迭代式的单图片反射消除，有一说一，这篇文章让我想起来之前看到的一篇去雨的RESCAN，去雨的一篇文章，也是利用迭代式的思想，不断的去除图像中的雨，使得每一次迭代对于输入进行逐渐优化。RESCAN这篇文章也是利用的卷积LSTM，并且下一次是对上一次的迭代的结果进行优化。代码链接，流程图如下，

上图的意思是，下一次输入的图片是上一次输出的结果，并且feature的利用也是遵循lstm传递的思想
具体的forward的代码block如下

    def forward(self, x):
        ori = x
        old_states = [None for _ in range(len(self.rnns))]
        oups = []

        for i in range(settings.stage_num):
            states = []
            for rnn, state in zip(self.rnns, old_states):
                x, st = rnn(x, state)
                states.append(st)
            x = self.dec(x)
            
            if settings.frame == 'Add' and i > 0:
                x = x + Variable(oups[-1].data)

            oups.append(x)
            old_states = states.copy()
            x = ori - x

        return oups

这篇文章的motivation是啥

作者说，预测透射区域和反射区域应该是相辅相成的，所以有两个branch来进行反光消除，通过预测反光的区域，能够使得图片去除反光区域更加干净。

这篇文章的网络结构

对于每一个time step的网络结构如下

上图中，输入的\(\hat{T}\)和\(\hat{R}\)是网络预测的结果，和原图\(I\)一起concate成9通道的图片送到两个网络中，一个网络是\(G_T\)，一个网络是\(G_R\)，下标\(T\)和下标\(R\)分别表示transmission和reflection，即透射图和反射图。作者在论文中说，这两个网络结构式一样的，但是作用不一样，一个是预测transmission，一个是预测reflection。encoder一共用了11个conv-relu blocks。decoder用了8个conv-relu blocks。作者说这两个backbone都是卷积lstm，结合到有一个iterative的想法（目前为止并没有开源代码），这个应该是和RESCAN的结构是相似的。

因为是下一个time step是对上一个time step的输出结果的优化，所以，整个训练的pipline如下

loss函数

作者一共定义了4个loss。
第一个loss是重建loss，定义为

两路branch产生的\(\hat{T}\)和\(\hat{R}\)加在一起，和原图做差，理论上来说应该是和原图一样的。
同时对于透射图，加了一个perceptual loss函数，定义如下

同时，作者对于透视图和反光图定义了一个mse loss，这里的反光图作者用的是直接做差得到的residual。以及增加了一个对抗的loss，感觉现在如果GAN不做创新的话，大多数也不会去独特的声称提出了某种GAN，只是作为一种提高精度的trick。对抗loss的权重较低。

实验

作者自己拍了一个数据集，并且命名为nature。200张训练，20张测试，感觉还是太少了。如下表格所示

作者的方法达到了比较好的结果

可以看一下，去除的也并不是特别干净，尤其是最后一行，感觉需要一个很大的数据集合来做。
同时作者也做了一些ablation study，比如time step

在time step为3的时候，结果能够达到最好。

总结一下

总的来说，作者用了两个比较重要的思想，第一个是，iterative，第二个是，可以同时预测反光区域和透射区域，二者应该是相辅相成的。记得之前看过南理工一篇讲的是用GAN做shadow remove就有说，阴影区域和其他区域应该是相辅相成的，所以作者同时预测了两个区域来提高阴影去除的精度。
感觉iterative在一些神经网络的任务上，还是由可以继续做一些任务的空间的。