ECLIPSE：通过视觉提示调整进行泛视分割的有效连续学习

ECLIPSE：通过视觉提示调整进行泛视分割的有效连续学习

    泛视分割结合了语义分割和实例分割，是一项前沿的计算机视觉任务。尽管最近在深度学习模型方面取得了进展，但现实世界应用程序的动态特性需要持续学习，其中模型随着时间的推移适应新类（可塑性），而不会忘记旧类（灾难性遗忘）。当前的连续分割方法通常依赖于知识蒸馏和伪标记等蒸馏策略，这些策略是有效的，但会导致训练复杂性和计算开销增加。介绍了一种基于视觉提示调谐的连续全景分割新方法，称为ECLIPSE。改进的方法包括冻结基本模型参数，仅对一小部分提示嵌入进行ffne调整，解决灾难性遗忘和可塑性问题，并显著减少可训练参数。为了减轻连续分割中的错误传播和语义漂移等固有挑战，提出了logit操作，以有效地利用跨类的公共知识。在ADE20K连续全景分割基准上的实验证明了ECLIPSE的优越性，特别是其对灾难性遗忘的鲁棒性和合理的可塑性，实现了最新的技术水平。

    ECLIPSE系统概述，如图4-15所示。

 

图4-15  ECLIPSE系统概述

在图4-15中，冻结所有训练好的参数，只调整一组提示嵌入

 和MLP层，以识别一组类

 。在推理中，聚合所有提示集

 的输出，以分割所有学习到的类

 。

用于logit操作的定性样本，如图4-16所示。

 

图4-16  用于logit操作的定性样本

在图4-16中，在步骤1，学习了包含水和汽车的类

 的模型可能会由于与未探索的类的语义混淆而产生不正确的预测；这些误差持续向前传播，导致对一个对象（第3列）的预测重叠。在步骤7，模型学习了包含lake和van的新类后，logit操作可以抑制先验误差。

ECLIPSE和CoMFormer在ADE20K 100-10连续全景分割场景下的定性比较，如图4-17所示。

 

图4-17  ECLIPSE和CoMFormer在ADE20K 100-10连续全景分割场景下的定性比较

在图4-17中，ECLIPSE在不依赖蒸馏策略的情况下，对灾难性遗忘显示出更稳健的结果。