任意尺度图像超分辨率的基准技术分析

任意尺度图像超分辨率的基准技术分析

在计算机视觉领域，超分辨率（SR）一直是一个突出的研究领域。它的目的是从低分辨率（LR）图像重建高分辨率（HR）图像。最近，主要基于学习图像的连续表示的任意尺度图像SR取得了重大进展。

这些方法通常需要在特定范围内（即×1.0-×4.0）使用连续的细粒度尺度变化LR-HR图像对进行训练。

然而，当将任意比例的图像SR方法应用于实际应用时，仍然存在问题。

如图5-5所示，一个问题是，大多数当前的方法都是在几个广泛使用的SR数据集上训练和评估的，包括DIV2K、Urban100、Manga109、Set5、Set14和BSD300。通常，这些数据集应用简单的合成退化模型（例如双三次下采样）来获得不同分辨率的数据。

然而，尽管在模拟数据上获得了令人满意的结果，但现实世界中的图像退化更为复杂，导致现实世界图像的视觉效果不佳。另一个问题是，最近提出了几个真实世界的图像SR数据集，包括RealSR、City100、SR-RAW和DRealSR[30]。然而，这些数据集是有限的，因为它们只捕获固定放大倍数（例如，×2、×3、×4）的图像对，缺乏图像的连续表示。

鉴于这一系列问题，总结为复杂的现实世界任意尺度图像SR问题。当前的方法无法学习现实世界图像的连续表示，导致SR结果缺乏视觉自然性。如图5-5所示，为了解决这个问题并提高当前任意尺度图像SR方法的性能，使质量可以像光学变焦一样，引入了一个新的数据集——连续光学变焦数据集（COZ），作为任意尺度图像SL的第一个实际数据集。设计并开发了一个连续光学变焦成像系统，其中光学透镜被无线控制，在特定焦距内增量均匀旋转。捕获同一场景从低到高放大倍数的多对连续图像。使用基于SIFT匹配点的两阶段图像对对齐算法，获得了精确对齐的真实LR-HR图像对。该数据集提供了各种放大比例下丰富的真实世界图像对，用于训练任意比例的SR模型，从而能够学习真实世界场景中的连续图像退化。

比较实验结果表明，当应用于真实图像时，在真实图像数据上训练的模型优于在模拟数据上训练。为了增强模型对真实世界复杂图像退化的鲁棒性，提出了一种基于MLP混合器架构和元学习的任意尺度图像SR方法，称为局部混合隐式网络（LMI）。在现实世界中，纹理信息在空间中表现为多个坐标及其相应的RGB值。新方法利用元学习同时学习多个局部坐标信息并生成混合权重，这些权重应用于与不同坐标相关的特征，以进行有效的混合。这与以前一次只考虑一个坐标及其特征信息的方法有着根本的不同，这种方法容易受到复杂退化的干扰。实验结果表明，新方法在学习真实图像的连续表示方面是有效的，并且需要更少的参数。

新方法的主要创新如下：

1）这是解决困难的现实世界任意比例图像SR问题的第一项工作。此外，还为此任务构建了第一个数据集。它可以作为在现实世界中训练和测试任意比例图像SR模型的基准。

2）提出了局部混合隐式网络，该网络同时考虑多个独立的点坐标和特征，以混合方式学习空间纹理信息，以增强对真实世界图像退化的鲁棒性。

3）进行了广泛的实验，通过将结果与最先进的方法产生的结果进行比较，验证了数据集和本地混合隐式网络的有效性。

    在模拟数据集上训练的SR模型难以解决任意尺度，显示出明显的模糊和伪影，如图5-5所示。

图5-5 在模拟数据集上训练的SR模型难以解决任意尺度，显示出明显的模糊和伪影

在图5-5中，结果表明，在模拟数据集上训练的SR模型难以解决现实世界中的任意尺度问题，显示出明显的模糊和伪影。相比之下，方法更自然，性能与现实世界的连续光学变焦效果相当。

COZ数据集的示例序列，如图5-6所示。

 

图5-6  COZ数据集的示例序列

在图5-6中，第一行显示了在35mm至140mm焦距范围内捕获的约60张图像中的11张图像样本。第二行显示了从这些图像中裁剪中心区域后的对齐结果。

构建的自动连续变焦成像系统用于收集数据，如图5-7所示。

图5-7  构建的自动连续变焦成像系统用于收集数据

A—控制器；B—电机；C—传动带；D—光学透镜

COZ数据集统计如图5-8所示。

图5-8  COZ数据集统计

在图5-8（a）是训练数据集中不同放大倍数（从×1.0到×4.0）的图像的分布统计，（b）是场景多样性统计。

改进方法的本地混合隐式网络框架，如图5-9所示。

图5-9  改进方法的本地混合隐式网络框架

5.3.3 结论

介绍COZ技术，这是用于任意比例图像SR的第一个真实世界数据集。COZ使用自动连续变焦成像系统捕获，提供精确对齐的连续分辨率变化图像对。利用MLPmixer和元学习，提出了LMI模型，该模型同时考虑多个独立坐标和相应特征，以混合方式学习空间纹理信息。大量的实验和用户研究验证了数据集和方法的有效性，结果超过了SOTA方法。