CVPR 2022 | 细节还是伪影：用于现实图像超分辨率的局部判别学习

CVPR 2022 | 细节还是伪影：用于现实图像超分辨率的局部判别学习

单图超分辨率（SISR）领域，从像素保真度角度，即以诸如PSNR、SSIM为判别指标的重建方法，效果已经很好。但是从人类视觉角度，会发现有些重建图片虽然像素保真度高，可是视觉效果不好。具体来说就是，基于DNNs重建的图片，视觉上无法生成丰富的细节；基于GAN重建的图片，生成细节的同时容易产生伪影。真实细节和伪影在图片高频部分相互纠缠，抑制伪影的同时会破坏真实细节，难以维持模型重建效果。为了解决这个问题，本文提出了一个局部判别学习框架(LDL)，可以在不牺牲真实细节的情况下有效缓解伪影的产生，且即插即用，容易添加在现成的网络上使用。

出品单位：
香港理工大学、OPPO研究所
论文地址：
https://arxiv.org/abs/2203.09195
代码地址：
https://github.com/csjliang/LDL

一、本文方法

STEP1 伪影如何产生

上图展示GAN-SR模型的可能优化方向，中心的一块是通过使用l1 loss验证的SISR模型获得的，而红色和黄色框中的块是对抗性损失的GAN-SR的可能结果。这就导致训练过程的不稳定：生成真实细节的同时也可能生成伪影。

STEP2 将GAN-SR方法得到的重建结果分类成三类区域

第一类 光滑或者结构尺寸大，不容易产生伪影

第二类 类似纹理的细节，容易产生信号重叠，由于本身不规则分布，视觉上重建效果好

第三类 结构细小且规则，容易产生信号重叠，极容易产生伪影，且像素上的偏差和结构扭曲在视觉上很容易发现

可见第三类区域最容易产生伪影，应该抑制这类区域的伪影，前两类需要保留的部分更多。

STEP3 从真实细节中区别出伪影

作者研究了上述三类区域的局部统计数据，发现网络输出与真实HR图片的局部残差可以作为指标，从图片真实细节中区别出伪影。具体过程如下图所示：

上图是生成伪影映射图过程的可视化。从左至右分别表示：
GAN-SR方法的输出；
真实图块；
真实图与GAN-SR输出的残差绝对值；
计算局部残差得到的初步映射图；
添加尺度因素的映射图（尺度因子是基于全局残差计算的稳定的patch级方差）；
进一步细化的映射图；
需要保留部分的位置映射图。

STEP4 学习过程

如上图所示，低分图片输入后，进入两个模型：上面是普通通过梯度下降训练的模型，下面一个表示在上面模型基础上利用指数移动平均技术暂时集成的一个更稳定的模型。两个模型的输出以及真实图片一起用于构造伪影映射图，据此计算伪影损失，再加上GAN-SR方法的损失构成本文LDL方法的总损失。

二、实验分析

1 与现有方法对比

选择三种典型的模型主干：SRRes-Net、RRDB和SwinIR分别代表轻量级、基于CNN和基于transformer的三类高效的模型。每种主干选择1-3种具体的模型，对比加入LDL方法的模型，效果如下：

其中前三个评价指标代表视觉上的效果，最后两个代表像素级保真度上的效果。
定性效果更直观：

2 应用于现实SISR任务

3 本文所提出各部分的作用

三、总结

本文作者分析了伪影和真实细节如何产生，以及二者相互纠缠的关系给模型效果带来的影响，提出从真实细节中区别出伪影。根据局部残差的差异构造出伪影映射图，成功实现在不影响真实细节生成的情况下减少伪影的产生。该技术可以直接用在现成的超分网络上，产生更好的视觉效果。