通过学习先验增强基于流的生成超分辨率模型

通过学习先验增强基于流的生成超分辨率模型

    基于流的超分辨率（SR）模型在生成高质量图像方面表现出了惊人的能力。然而，这些方法在图像生成过程中遇到了一些挑战，例如网格伪影、爆炸反转以及由于采样温度不稳定而导致的次优结果。为了克服这些问题，这项工作在基于流的SR模型的推理阶段之前引入了条件学习。该先验是由改进的基于低分辨率图像的潜在模块预测的潜在码，然后由流模型将其转换为SR图像。改进的框架旨在与任何当代基于流的SR模型无缝集成，而无需修改其架构或预训练权重。通过广泛的实验和消融分析来评估改进的框架的有效性。改进的框架成功地解决了基于流的SR模型中的所有固有问题，并提高了它们在各种SR场景中的性能。

改进的框架增强了基于流的SR模型的能力，如图3-37所示。

 

图3-37改进的框架增强了基于流的SR模型的能力

在图3-37中，（1）减轻网格伪影，（2）防止反转爆炸，以及（3）消除使用固定采样温度来释放流模型的全部潜力。

改进的框架基于流的SR模型推理阶段，旨在近似与HR图像对应的理想潜码，如图3-38所示。

 图3-38 改进的框架基于流的SR模型推理阶段，旨在近似与HR图像对应的理想潜码

    基于流的SR模型的推理方案概述，如图3-39所示。

 图3-39 基于流的SR模型的推理方案概述

在图3-39中，该框架由改进的潜在模块和流模型组成，流模型可以是任何现有的基于流的SR模型。潜势像模块通过利用从LR图像提取的信息来生成学习潜势像。然后，流模型将该潜势像转换为相应的SR图像。