LapSRN

Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

解决问题：

• 1.bicubic预处理上下采样，计算复杂度高。（LapSRN只使用了对SR下采样特点是训练过程中再通过反卷积上采样恢复到原尺寸）
• 2.简单的模型，不能很好的学会复杂的映射。 并且L2损失函数不能捕捉HR patches底层多模态分布（重建的HR images对人类视觉感知效果不好）
• 3.大部分方法重建HR images时使用了上采样步骤，这会增加训练难度尤其是fator越大时，并且对于以前的方法只训练了特定fator的模型（LapSRN使用了金字塔结构的模型，对于大的fator由fator为2渐进训练，需要特定就fator就截断输出）

 

模型结构

模型大致结构：LR作为输入渐进地以一种粗糙到良好的方式预测sub-band residuals。每个level用卷积提取特征然后使用反卷积上采样到finer level然后预测sub-band residuals（上采样图片与groud truth间的差异）训练模型使用charbonnier损失函数

LapSRN使用串联金字塔预测不同fator的residuals，因此其 8fator的模型依旧可以表现2 或 4 fator SR，通过bypassing（绕路）

输入：由SR下采样 为HR直接输入

特征提取：每个level（金字塔层）都有d个卷积层和一个反卷积层，反卷积层的输出分别连接到当个level重建residuals和下一个level继续提取特征训练。

图像重建：每个level的输入image都使用scale为2的反卷积进行上采样再与predicted residuals整合为HR image，该HR image，又被喂入下一个level，需要特定的scale时只需在特定的level处截断模型

损失函数：使用Charbonnier penalty function

　　　　　　

　　　　　　

训练细节：每个卷积层在卷积前都进行了padding保持了与输入一致，filters为64个 size为 3 x 3，反卷积的filter为3 x 3，作者在训练前进行了data argumation,实验中也对比了 data argumation的影响