CVPR2016 VDSR：Accurate Image Super-Resolution Using Very Deep Convolutional Networks

 

• 摘要

 

 

• 问题描述

　　何恺明将深度学习技术引入超分辨问题的开山之作SRCNN(2014年），主要存在以下几个问题：

　　1、感受野小，使得获取的语义信息少，对于恢复细节信息有难度

　　2、收敛很慢

　　3、SRCNN只针对单尺度超分

• 主要贡献点

 1、设计了一个20层的卷积神经网络来做超分辨

2、小的学习率会使的网络收敛很慢，而大的学习率容易使得梯度爆炸，因此通过残差学习和大的学习率及梯度裁剪(gradient cropping)加速收敛

3、设计的一个网络可以同时实现多尺度超分辨

• 网络结构

 

1、可以看到现将低分辨的图像（LR）进行插值到目标分辨率大小的低分辨率图像（ILR），然后将其作为网络的输入

2、ILR经过D-1次的Conv+ReLU，再经过第D次的Conv层+上ILR图像，作为最终输出图像，可以看出，网络主要学习真实图像与ILR的残差。

• 训练细节

1、损失函数：其中f(x)表示网络的预测输出，r=y - x, y为真实高分辨图像，x为经过插值的低分辨图像。

2、 optimization methods：SGD，momentum=0.9, weight decay=1e-4

3、Adjustable Gradient Clipping。The gradients are clipped to [-θ/γ; θ/γ ], where γ denotes the current learning rate. And θ is tuned to be small to avoid exploding gradients in a high learning rate regime.

 

4、Multi-Scale Training

可以看到，只用单尺度的图像对训练，那么只在对应的尺度，PSNR最高。而用多尺度的训练，测试的时候不同尺度的结果都是最好的（倒数第二列）

 

 

• 实验结果

 

paper link:https://cv.snu.ac.kr/research/VDSR/VDSR_CVPR2016.pdf