Adobe超分辨率算法：SRNTT

论文：Image Super-Resolution by Neural Texture Transfer

论文链接：https://arxiv.org/abs/1903.00834

项目地址：https://github.com/ZZUTK/SRNTT

SRNTT

Adobe 研究院与田纳西大学的研究者提出。

http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html

基于参照的超分辨率

与 LR 输入有相似内容的参照（Ref）图像。

已有的 RefSR 方法是采用内部示例（self-example）或外部高频信息来增强纹理。但是，这些方法都假设参照图像与 LR 图像有相似的内容和/或有良好的对齐。否则，它们的表现会有显著的下降，甚至会比SISR 方法更差。

相对而言，Ref 图像在我们的设定中则发挥着不同的作用：无需与 LR 图像有良好的对齐或相似的内容。我们只希望将形义相关的纹理从 Ref 图像迁移到输出的 SR 图像。理想情况下，在存在良好的 Ref 图像时，稳健的RefSR 算法应当优于 SISR，并且在没有提供 Ref 图像或完全不含相关纹理时也能得到与 SISR 相当的表现。注意，内容相似性可以推断出纹理相似性，但反过来不成立。

SRNTT 框架，包含特征交换和纹理迁移：

提出的 SRNTT 的目标是：给定参照图像，根据低分辨率图像估计得到更高分辨率的图像，使得到的超分辨率图像能根据参照图像合成可信的纹理，同时在内容上保持与低分辨率图像一致。

其中的主要思想是在特征空间中搜索与参照图像匹配的特征，然后以多尺度的方式将匹配的特征迁移到超分辨率图像，因为特征在面对颜色和光照条件变化时更为稳健。这种多尺度纹理迁移能同时考虑低分辨率图像和参照图像在形义（高层面）和纹理（低层面）上的相似性，从而能在抑制不相关纹理的同时迁移相关的纹理。

 

【转载自】

Adobe提出新型超分辨率方法：用神经网络迁移参照图像纹理 https://new.qq.com/omn/20190316/20190316A0C2G6?pc

【相关 】

[论文笔记] Image Super-Resolution by Neural Texture Transfer (CVPR2019) - Deephome的博客 - CSDN博客 https://blog.csdn.net/muyiyushan/article/details/88752720

「Image Processing」Note on SRNTT - 小锋子Shawn - CSDN博客 https://blog.csdn.net/dgyuanshaofeng/article/details/88617548

超十亿样本炼就的CNN助力图像质量增强，Adobe推出新功能「增强细节」 | 机器之心 https://www.jiqizhixin.com/articles/19021801