上采样 及 Sub-pixel Convolution (子像素卷积)
参考:https://blog.csdn.net/leviopku/article/details/84975282
参考:https://blog.csdn.net/g11d111/article/details/82855946
上采样的概念:
上采样可以理解为任何可以将图像变成更高分辨率的技术;最简单的方式就是重采样和插值法:将输入图片 input image 进行 rescale 到一个想要的尺寸;而且计算每个点的像素点,使用如双线性插值bilinear 等插值方法对其余点进行插值;
Unpooling 是在CNN中常用来表示max pooling 的逆操作。由2013年纽约大学Matthew D. Zeiler和Rob Fergus发表的《Visualizing and Understanding Convolutional Networks》引用:因为max pooling 不可逆,因此使用近似操作得到 max pooling 操作之前的原始情况;(记住max pooling做的时候的size,比如如下图的4x4的矩阵,max pooling的size 为2x2, stride为2,反卷积操作需要记住最大值的位置,然后将其余的位置置为0就可以)
反卷积在CNN中常用于表示一种反向卷积,但是它并不是一个完全符合数学规定的反卷积操作;
与Unpooling不同,使用反卷积来对图像进行上采样是可以习得的。通常用来对卷积层的结果进行上采样,使其回到原始图片的分辨率;
反卷积也被称为分数步长卷积或者转置卷积或者后向卷积;
早PyTorch中,上采样的层被封装在torch.nn中的Vision Layers里面,一共有4中:
1、PixelShuffle
2、Upsample
3、UpsampleNearest2d
4、UpsamplingBilinear2d
其中,PixelShuffle表示如下:
Sub-pixel convolution 是一种巧妙的图像及特征图upscale的方法,又叫pixel shuffle(像素洗牌)。我们知道,用深度学习处理图像的话,经常需要对特征图放大。常见的方法有直接上采样,双线性插值,反卷积等。本文主要介绍一种在超分辨率中经常使用的 upscale 方法 —— sub-pixel convolution.
采用CNN对feature map 进行放大的方法,除了有 deconvolition 之外,还有一个叫做 sub- pixel convolution 。如果做SR(超分辨率)的话,需要将一张低分辨率图像转换成一张高分辨率图像。如果直接用 deconvolution 作为 upscale 手段的话,通常会带入过多人工因素进来。而 sub-pixel conv 会大大降低这个风险。先看 sub-pixel 是怎么做的:
前面就是一个普通的CNN网络,到后面的彩色部分就是 sub- pixel conv 的操作了。首先如果对原图放大3倍,那么就要生成3^2=9 (通道数)个相同尺寸的特征图。然后将9个相同尺寸的特征图拼接成一个x3的大图,也就是对应的 sub - pixel convolution 操作;
其实也就是要放大r倍的话,那就生成r方个channel的特征图,这里的r也可以称为上采样因子;
这对应的是抽样的反思想,如果把一张 x3 的大图,每隔三个点抽样依次,那么就得到9张低分辨率的图像;于是就可以通过CNN来获得这么9张低分辨率的图像,然后再组成一张高分辨率大图;