论文阅读笔记（五十三）Super-Resolution相关论文

Image Super-Resolution Using Dense Skip Connections【ICCV2017】

采用更深层的神经网络能够提取更丰富的纹理细节，同时也会带来训练上的困难。残差连接（skip connection）有3方面的优势：可以为低高阶信息的传递提供捷径，使得网络结构的训练更加容易；低阶网络能够为高阶提供补充高频的信息；重复利用低阶的特征映射可以降低特征的冗余，训练到的CNN更加稳定。受到残差连接的启发，作者提出了SRDenseNet。网络结构如下图所示：

SRDenseNet包含以下模块：卷积模块（学习低阶特征）、DenseNet块（学习高阶特征）、反卷积模块（上采样）、重构模块（生成HR图）

每个卷积/反卷积层都紧接着ReLU激活函数，上一层的特征映射为，则卷积/反卷积可以表示为：

定义网络的参数为。定义输入的LR图像为，HR图像为，训练的图像对为。

需要训练的MSE损失为：

DenseNet的细节：结构如下图所示，DenseNet有残差的思想，但并不是直接把低高阶特征相加，第 i 层的特征映射接收所有之前层的级联特征，即：

每个DenseNet块包含了8个卷积层，如果每个卷积层输出的是k层特征映射，那么DenseNet块生成的为8k层特征映射，其中k为生长率（growth rate），本文中定义k=16。

反卷积层的细节：之前的SR方法很多用了bicubic interpolation（双三次插值）来upscale，存在计算复杂的问题。因此本文采用反卷积层来实现upscale，有如下优点：降低计算量；感受野更大。本文采用的反卷积层kernel为3x3，特征映射为256层。

作者提出了3个变体，(a)只采用了最后DenseNet块输出的特征映射，(b)采用了前后两端输出的特征映射，(c)采用了所有DenseNet块输出的特征映射，并用Bottleneck（1x1卷积核）降低特征映射的维度。最终重构模块采用了3x3卷积核，转为单通道的HR图像（疑问：为什么不是3通道？）。

Residual Attribute Attention Network for Face Image Super-Resolution【AAAI2019】

针对人脸低分辨率问题，提出了一个端到端的Residual Attribute Attention Network (RAAN)，结合了人脸的纹理特征、形状特征、语义特征（前两个为基础特征，语义特征用于引导前两种特征的整合）。网络包含三部分：Shape Generation Network (SGN)、Texture Prediction Network (TPN)、Attribute Analysis Network (AAN)。结构如下图所示：

首先提取LR图像的特征映射，即：，其中 C₁ 为投影函数，由若干卷积层组成。随后将特征映射输入到若干个Residual Attribute Attention Block (RAAB) 中，每一个block计算为：，其输入有两部分：① 上一个block的输出（根据图上含义，这里的输出应用了残差的思想，还要另外结合F₀），② 前面所有block输出的级联。最终的输出也采用残差的形式：。损失函数如下：