论文阅读：KCKE（2022-CVPR）

KCKE（2022-CVPR）

Learning Multiple Adverse Weather Removal via Two-stage Knowledge Learning and Multi-contrastive Regularization: Toward a Unified Model

摘要

在本文中，研究了多个不利天气去除的病态问题。我们的目标是训练一个具有“统一”架构和只有一组预训练权重的模型，可以同时应对多种恶劣天气，例如雾霾、下雪和下雨。为此，提出了一种基于多师生架构的知识整理（KC）和知识考试（KE）两阶段知识学习机制。在 KC，学生网络旨在从多个训练有素的教师网络中学习全面的恶劣天气去除问题，每个教师网络都专门研究特定的恶劣天气去除问题。为了完成这个过程，提出了一种新的协作知识转移。在 KE 中，学生模型在没有教师网络的情况下进行训练，并通过挑战由基本事实导出的像素损失进行检查。此外，为了提高我们训练框架的性能，提出了一种称为多对比知识正则化（MCR）损失的新型损失函数。在几个数据集上的实验表明，我们的学生模型可以同时在不同的恶劣天气移除任务上取得有希望的结果。

问题

1.去雨、去雪、去雾方向上已经有了很多的研究，这些方法虽然取得了很好的表现，但是在真实世界应用存在限制。因为现有的方法无法用一个统一的架构或一组同时与预训练的权重来解决多种天气类型。

1）单一天气去除算法：大部分的单一天气去除算法只能在特定的天气上得到较好的结果，在其他天气结果上表现受限。真实场景应用时，需要首先选择天气类型，然后选择对应的去除算法。

2）多退化去除算法：现有的方法通常需要几组预训练的权重来进行各种降解。它要求网络根据天气类型采用不同的预训练权重，麻烦且效率低下。

3）多合一的恶劣天气清除方法：它可以使用神经体系结构搜索（NAS）技术在一组预训练的重量中处理几种类型的天气。但是它存在模型效率低下的问题。如果需要更多的特征提取器，则该方法的模型大小可能会大大增加。

2.对于大多数基于KD的策略，知识转移过程通常应用特征适配器模块，将教师网络的特征投影到学生的特征空间，以进行特征对齐。这种策略可能对这些任务有效，因为它们只涉及单一的知识转移（例如，将清晰特征的知识转移到学生网络）。然而，这可能不适合我们的场景，因为转移的知识更加多样化（即多天气网络）。由于不同天气类型的区域差异，从教师网络投影的特征不能保证学生网络的特征空间对于特征学习过程是最优的 。

网络

Two-stage Knowledge Learning

Knowledge Collation (KC) 在每个时期，学生网络同时使用不同的教师网络进行训练。基于教师网络的结果预测计算损失。为了实现鲁棒的知识转移，提出了一个新的技术——CKT

Knowledge Examination (KE) 此阶段旨在通过更苛刻的约束条件检查学生网络来增强网络的鲁棒性和判别能力。 为此，学生网络在没有教师网络指导的情况下进行训练，并应用了更具挑战性的正则化。

CKT

Collaborative Knowledge Transfer

Progressive Feature Projector（PFP）

渐进式特征投影（PFP），它将来自教师和学生网络的特征投影到公共特征空间。PFP是一个可学习的模块，它可以使网络确定最适合公共特征学习的特征空间。PFP是由多个步速为1的卷积块和ReLU激活函数组成的小网络

L_PFE

提出了投影特征误差（L_PFE）来约束特征学习过程。为了在公共特征空间中使投影特征更接近。采用L1损失来计算两个投影特征之间的距离。此外，为了在不同层次上扩展上下文信息，对投影特征采用了金字塔池操作。

Bidirectional Feature Matching（BFM）

为了从多个教师网络中稳健地学习知识，提出了双向特征匹配（BFM）来约束学习到的特征。首先，教师网络的投影特征通过逆渐进特征投影（IPFP）投影回原始输入空间。然后，我们通过投影特征验证损失（L_PFV）计算它们与原始特征的差异。

 教师和学生网络生成的原始特征可以投影到不合理的特征，以最小化L_PFE。通过应用此辅助过程，可以保证投影特征的有效性，并提高整个CKT过程的鲁棒性。

 

MCR

Multi-contrastive Regularizations

基于网络能力的多对比正则化（MCR）方法，该方法嵌入到两阶段知识学习过程中。MCR有两个损失：软对比正则化（SCR）和硬对比正则化（HCR）。前者旨在提高特定天气类型的性能，而后者旨在增强网络对多种天气的识别能力。

对比正则化损失：

Soft Contrastive Regularization（SCR）

 KC阶段采用软对比正则化（SCR）优化学生网络。现有的对比学习方法通常直接使用退化图像的地面真实图作为正样本。然而，对于一个“不成熟”的学生网络来说，学习这样具有挑战性的样本是一个挑战，不能很好地模仿教师网络的行为。为了降低学习过程的难度，采用教师网络预测的结果作为正样本。它使网络能够轻松地学习特征表示。对于负样本，采用一组因特定天气而退化的图像，因为希望网络聚焦于具有相同退化的图像。

Hard Contrastive Regularization（HCR）

利用输入图像的地面真值作为正样本，而所有天气类型退化的图像集作为负样本。正样本可以增强网络学习更准确的结果，而负样本可以增强对各种天气类型的识别能力。此操作使网络能够在不同天气之间了解更全面的信息，并提高其对多种天气类型的鲁棒性

Overall Loss

 

创新

1. 提出了一种基于两阶段知识学习的综合恶劣天气去除方法。在测试阶段，网络可以处理 具有统一架构和一组预训练参数的不同天气去除问题。

2. 为了提高训练方案的表现力，提出了CKT（collaborative knowledge transfer）和MCR（multi-contrastive regularization）

实验

Datasets：RESIDE、Rain1400、CSD

Metrics: PSNR、SSIM

Comparison with SOTA

Ablation Study

 

 

结论与启发

在本文中，我们提出了一种新颖的方法来解决恶劣天气去除问题，该方法具有统一的架构和一组预训练的权重。 我们设计了几种机制，包括两阶段知识学习、CKT 和 MCR。 实验结果表明，与现有方法相比，所提出的方法可以实现令人鼓舞的性能，并且消融研究证明了每个提出的模块的有效性。