(2016-ECCV)Accelerating the Super-Resolution Convolutional Neural Network
本文基于SRCNN提出了一种紧凑的沙漏型结构FSRCNN来加速SRCNN,能够达到40倍的速度以及更好的图像恢复效果。
SR算法大部分都是基于图像块来学习LR图像和HR图像之间的映射的方法,而SRCNN由于其简单的网络结构和优良的图像质量备受关注。尽管SRCNN比起其他SR算法要速度更快,但其在大图像上的的处理速度仍然不理想,有两个固有的限制约束了其运行速度:
①在预处理时用双三次插值法将LR图像升采样为所需的大小,其计算复杂度为HR图像的空间尺寸的平方;
②非线性映射时,采用更大的映射层能够提高映射精确度,同时也会提高运行时间。
针对上述两个问题,本文分别采取了两个措施进行改进:
①使用反卷积层在整个步骤的最后进行升采样,取代了使用双三次插值法;
②在映射层的前后分别添加了shrinking layer和expanding layer
整个FSRCNN网络的结构与SRCNN相比:
整个文章的三大贡献:
①提出了能实现更快的图像超分辨的紧凑型沙漏结构FSRCNN,实现了端到端的映射并无需任何预处理;
②模型能够在保证恢复效果的同时比SRCNN至少加速40倍;
③提出的网络模型的卷积层在移植到不同升采样因素的训练和测试中时,依然保持良好的恢复效果。
FSRCNN主要分为五个部分:feature extraction, shrinking, mapping, expanding, deconvolution。整个网络参数很多,因此赋予一些非敏感参数合适的值,而留下敏感参数等待赋值。
整体的网络结构:
在激活时,采用的是PReLUde作为非线性激活单元。
损失函数依然是采用与SRCNN相同的MSE。
在使用FSRCNN时,预先以一个upscaling factor训练出一个模型,当upscaling factor改变时,只需要根据其fine-tune反卷积层,保持其他的卷积层不变即可。
总的来说,本文观察了现有的基于深度学习的SR模型存在的限制,探索出了一种能够更加高效同时不损失恢复质量的网络用于SR,并且提出的模型可以用于实时视频的超分辨。