通过变化先验和条件扩散模型实现基于参考的超分辨率

通过变化先验和条件扩散模型实现基于参考的超分辨率

基于参考的超分辨率（RefSR）有可能在遥感图像的空间和时间分辨率之间架起桥梁。然而，现有的RefSR方法受到内容重建的忠实性和大尺度因子下纹理转移有效性的限制。条件扩散模型为生成逼真的高分辨率图像开辟了新的机会，但在这些模型中有效利用参考图像仍然是一个有待进一步探索的领域。此外，在没有相关参考信息的地区，内容失真难以保证。为了解决这些问题，提出了一种名为Ref-Diff的RefSR变化感知扩散模型，该模型使用土地覆盖变化先验来明确地指导去噪过程。具体来说，将先验注入去噪模型，以提高不变区域中参考信息的利用率，并规范变化区域中语义相关内容的重建。在这种强大的指导下，将语义引导的去噪和参考文本引导的去噪声过程解耦，以提高模型性能。大量实验表明，与最先进的RefSR方法相比，该方法在定量和定性评估方面具有更优的有效性和鲁棒性。

所提出的变化感知去噪模型的架构，如图4-11所示。

 

图4-11  所提出的变化感知去噪模型的架构

在图4-11中，由感知变化的编码器和解码器块组成。LR、Ref和真值覆盖变化掩模与噪声输入相结合，也被注入到变化感知解码器块中。