超分辨率技术前沿调研
1、2019.3.13，三星电子QLED 8K电视。
三星全新QLED TV采用了特别开发的量子点8K处理器(Quantum Processor 8K)，通过8K人工智能增强技术(8K AI Upscaling)提升画质和音效双重表现，为消费者带来具备沉浸感的逼真视觉效果和震撼的听觉体验，开启了超高清8K时代。
高达7860*4320的屏幕分辨率、3300万像素，显示屏采用了全阵列直入式背光源，和优化影像的HDR10+技术。8K HDR4000技术使得每帧画面的连接性流畅性倍增，对画质本身也是一次全面革新。4000尼特峰值亮度进一步加强黑色展现力。
三星通过8K人工智能增强技术(8K AI Upscaling)提升画质和音效表现。三星的人工智能机器学习，是通过植入量子点8K处理器(Quantum Processor 8K)，为电视提供大脑，创建超高分辨率图像所需的程序图像公式。可快速分析图像数据，并将其与存储在公式库中的数百万个图像公式进行比较。在选择最佳图像公式后，它可以在高达8K级别分辨率下智能重建图像纹理，边缘清晰度和细节水平。因此，大多数内容都可以拥有难以置信的清晰度。
三星QLED 8K电视国内首发 98英寸版售价近百万 https://baijiahao.baidu.com/s?id=1627939123538574564&wfr=spider&for=pc
2、2017 Twitter在超分辨率技术上取得新进展，能还原打码图片
Twitter 及哥本哈根的研究人员在获得ICLR 2017 oral paper的《Amortised MAP Inference for Image Super-Resolution》中表示，在超分辨率处理过程中，直接对低像素图像进行最大后验概率估值是非常重要的，就像如果想要确保样图图像先验，就需要先构建一个模型一样地重要。想要进行摊销最大后验概率推断，从而直接计算出最大后验概率估值，本文在这一步引入的新方法是使用卷积神经网络。
而为了确保网络输入低分辨率图像后，能始终如一地输出相应的高分辨率图像，研究人员创造性地引入了新型神经网络架构，在这个网络里，有效解决超分辨率的方法是，向仿射子空间进行投影。使用新型架构的结果显示，摊销最大后验概率推理，能减少到两个分布之间的最小化交叉熵，这个结果与生成模型经过训练后得到的结果相类似。
（1）生成式对抗网络 (GAN)
（2）去噪指导超分辨率，从去噪过程中反向推导去噪的梯度估值，从而训练网络
（3）基线法，该方法使用最大似然训练图像先验
AffGan-Twitter在超分辨率技术上取得新进展，能还原打码图片｜ICLR 2017 | 雷锋网 https://www.leiphone.com/news/201704/UOlptCxSKNIAQ5EC.html
搜索结果：最大空间分辨率算法 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/information/%E6%9C%80%E5%A4%A7%E7%A9%BA%E9%97%B4%E5%88%86%E8%BE%A8%E7%8E%87%E7%AE%97%E6%B3%95
3、2016年 Google 超分辨率技术 RAISR：模糊图片瞬间变清晰，运算速度快十倍
RAISR: Rapid and Accurate Image Super Resolution，速度提升大约十至一百倍，可以避免产生混叠效应 （aliasing artifacts）。节省带宽75%。
对于 RAISR，谷歌别辟蹊径得采用机器学习，用一对低分辨率、高分辨率图片训练该程序，以找出能选择性应用于低分辨图片中每个像素的过滤器，这样能生成媲美原始图片的细节。目前有两种训练RAISR的方法：
-
第一种是“直接”方式，过滤器在成对高、低分辨率图片中直接学习。
-
第二种方法需要先对低分辨率图片应用低功耗的的升采样，然后在升采样图片和高分辨率图片的组合中学习过滤器。
-
“直接”方式处理起来更快，但第二种方法照顾到了非整数范围的因素，并且更好地利用硬件性能。
无论是哪种方式，RAISR 的过滤器都是根据图像的边缘特征训练的：亮度和色彩梯度，平实和纹理区域等等。
这又受到方向（direction，边缘角度），强度（strength，更锐利的边缘强度更高）和黏性 （coherence，一项量化边缘方向性的指标）的影响。
以下是一组 RAISR 过滤器，从一万对高、低分辨率图片中学习得到 （低分辨率图片经过升采样）。该训练过程耗费约一小时。
注：3 倍超分辨率学习，获得的 11x11 过滤器集合。过滤器可以从多种超分辨率因素中学习获得，包括部分超分辨率。注意当图中边缘角度变化时，过滤器角度也跟着旋转。相似的，当强度提高时，过滤器的锐利度也跟着提高；黏性提高时，过滤器的非均相性（anisotropy）也提高。
从左至右，学习得到的过滤器与处理后的边缘方向有选择性的呼应。举例来说，最底一行中间的过滤器最适合强水平边缘（90 度梯度角），并具有高粘性（直线的而非弯曲的边缘）。如果这个水平边缘是低对比度的，那么如同图中最上一行，另一个过滤器就被选择。
实际使用中，RAISR 会在已经学习到的过滤器列表中选择最合适的过滤器， 应用于低分辨率图片的每一个像素周围。当这些过滤器被应用于更低画质的图像时，它们会重建出相当于原始分辨率的细节，这大幅优于线性、双三（bicubic）、兰索斯 （Lancos）解析方式。
谷歌超分辨率技术 RAISR ：模糊图片瞬变高清，速度提升数十倍 | 雷锋网 https://www.leiphone.com/news/201611/6wejLGlSGF22AuL1.html
Google超分辨率论文RAISR实现小结 - 羽凌寒 - CSDN博客 https://blog.csdn.net/u011630458/article/details/69524582
4、2017年10月 TSR（Tencent Super Resolution）腾讯QQ空间
腾讯QQ空间联合优图实验室，移动端并行加速框架RapidNet。在图片size只有原来25%的情况下将图片还原到与原图的同等效果，在空间的应用可以节省用户75%的流量。
采用深度神经网络来识别图片内容并进行图片内容的细节重构，能够通过机器学习来识别图片的内容与纹理，从而能够将图片进行高清重建, 达到业界（NTIRE2017）领先水平。
训练并实现了一个10层的深度卷积神经网络，对比目前学术界研究的神经网络，本网络能够很好的解决CheckerBoard Artifacts和对于部分图片处理文理不清晰问题。通过神经网络能够抽象出图片的整体特殊，识别图片的纹理与内容，根据图片的纹理与内容进行图片的高清细节重建，从而达到远超过原图的视觉效果。
通过控制卷积神经网络的层数与每层的CHANEL数，在简化整体计算量的情况下，能够很好的解决图片过于平滑，纹理不清晰的问题。通过精简化设计，TSR能够保证模型在只有4。6KB的基础上有不错的处理效果。
神经网络结构图如下：
TSR：基于深度学习的超分辨率技术及应用 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1006272
腾讯QQ空间超分辨率技术TSR - ostartech - 博客园 https://www.cnblogs.com/wxl845235800/p/7847361.html
5、2017年11月 华为推出新型HiSR：移动端的超分辨率算法
HiSR（Hisilicon Super-Resolution）
在同样的标准下，处理效果相比 Google 的 RAISR 超分算法有明显的提升，此外 HISR 通过 Kirin 970 芯片的 HiAI 移动人工智能平台加速，首次实现了移动端的深度网络超分辨率算法，不仅达到了实时处理的速度，还保证了图片的效果，能效比提升了 50%。
七层深度的卷积神经网络,该模型能够有效地提升图片的质量，解决了深度网络研究存在的很多问题，比如说图片超分辨率时出现的块效应和细节丢失、边缘纹理不清晰的问题。该网络能够在 Kirin 970 的 HiAI 移动人工智能平台实现实时运算速度，相对普通的 CPU 计算，速度提升了 25 倍，即使相对于能够并行处理的 GPU，速度也提升了 6 倍。
大多数超分辨率的深度网络来说，例如 SRCNN 和 TSR 等超分算法，都是通过采用 Bicubic 算法先将图片直接放大到需要的尺寸，然后再进行卷积操作，也就是说这类算法的操作都是为了改善 Bicubic 算法的缺陷，计算量比较大，运行的时间较长，而且效果往往也会局限于 Bicubic 算法的限制，得不到很大的提升。
HiSR 超分辨率深度学习网络采用先进的反卷积的结构，反卷积（Deconvolution）的概念第一次出现是 Zeiler 在 2010 年发表的论文 Deconvolutional networks 中。随着反卷积在神经网络可视化上的成功应用，其被越来越多的工作所采纳比如：超分辨率、场景分割、生成模型等。
HiSR 采用了一层反卷积实现图片的放大和还原，而且反卷积同样通过学习实现参数的更新，可以保留丰富的细节和纹理，实现了超分辨率图片的还原。
针对当前主流的网络压缩传输应用，提供两种可选的网络用于图片的增强（1x 网络）和放大（3x 网络）。
1x 网络：
HiSR 采用独立训练的 1x 网络对图片进行了处理，通过该网络的处理，图像的细节不断的增强，各种块效应也消失了，图片的鲜艳程度也提高了，给用户带来了强烈的视觉体验。网络结构如下：
3x 网络
HiSR 采用独立训练的 3x 网络对图片进行了处理，该网络只需要在 1x 的网络上进行很小的改动，加入了反卷积层，还原高分辨率图像的特征，图像的细节通过卷积层的不断学习和增强，可以有效的提升高分辨率图像的质量。HiSR 的 3x 网络结构如下：
业界 | 华为推出新型HiSR：移动端的超分辨率算法 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1118612
