paper 地址:http://personal.ie.cuhk.edu.hk/~ccloy/files/eccv_2014_deepresolution.pdf
图像超分辨率重建
把一张 低分辨率图像(low resolution) 通过一定的算法 转换成 高分辨率图像(high resolution);
在 深度学习 之前,有很多 传统方法 可以解决该问题,如 插值,但是效果一般;
SRCNN 是第一个 把 深度卷机网络 用于该任务的 深度学习模型,故被称为 图像超分辨率重建的 鼻祖;
可喜的的是 作者 有我们的国人 何凯明大神;
SRCNN 网络结构
作者认为,既然能够通过一定的算法提高图像分辨率,那么 低分辨 与高分辨 之间 一定有 “共通的特性”;
就是这么简单的假设,作者设计了 SRCNN;这里我想说的是,模型到底是什么不重要,重要的是 作者为什么 能设计这样的模型;
该模型的网络结构非常简单,只有 3 层卷积,如下图
第一层:对 低分辨率图像进行 特征提取,原文 9 x 9 x 64卷积核
第二层:对特征进行非线性映射,原文 1 x 1 x 32卷积核
第三层:对 映射后的特征进行重建,生成高分辨率图像,原文 5 x 5 x 1卷积核
// 生成 单通道图像,故c=1,与 输入保持一致
训练与测试
训练过程:在 高分辨率图像 上随机截取 patch,先进行降采样(目的是降低分辨率),再进行升采样(模型需要,输入尺寸固定),以此作为模型输入,label 是 截取的 patch,loss 为 逐像素 mes;
测试过程:先通过 插值等方式 降低分辨率,然后喂给模型
超分辨率的 质量评价
1. PSNR 峰值 信噪比
本质还是 逐像素差,差值越小,PSNR越大,质量越高
2. SSIM
3. MOS(意见平均分)主管
4. 感知损失
要看懂这张图,先学习 图像风格迁移,本文默认你已学过;
此处无需 风格损失,即无需 上面红色那一路;只用到了 内容损失;
这里 input x 也不需要,y’ 是重建后的 图像,yc 是 原高清图像,经过 后面的 cnn网络 提取特征,计算 特征之间的 mes,大致 如此,细节可自由发挥
总结
既然是 鼻祖,肯定不完美,有很多改进版,以后再说
参考资料:
https://zhuanlan.zhihu.com/p/49846783
https://zhuanlan.zhihu.com/p/27160373
https://www.bilibili.com/video/BV1pE411H7vd?spm_id_from=333.337.search-card.all.click&vd_source=f0fc90583fffcc40abb645ed9d20da32