CoMFormer: Continual Learning in Semantic and Panoptic Segmentation论文阅读笔记

摘要

文章的贡献是借助MaskFormer设计了CoMFormer，从而完成对全景分割的连续学习，提出了基于mask的伪标签以对抗遗忘。

方法

基于MaskFormer，作者将分割视为对mask的分类。输出的形式等都与MaskFormer相同，模型结构也与MaskFormer基本一致。对于每一个step的模型，由backbone、transformer decoder以及pixel decoder构成。作者特别指出，在得到mask预测结果时使用 softmax比sigmoid效果更好，使用sigmoid可能会导致单个像素被分到不同的区域，如下图所示：

为了实现连续学习，作者还加了许多操作：

Adaptive Distillation Loss

这里针对的是输出类别概率进行蒸馏：

对于每个segment的概率，用KL散度衡量新模型和旧模型给出的概率分布的差异。$K^{t-1}+1$指的是要额外加上no object这个类别的概率。特别地，将当前step学习的类以及no object类的概率加起来作为新模型预测的no object类别的概率（unbiased probability distribution）：

然而，作者指出较大的no object概率会导致降低其它类别的重要性。因此，作者提出了adaptive distillation loss：

其中$w_i=(1-p_i^o(\empty))^2$。

Mask-based Pseudo-labeling Strategy

一种简单的伪标签策略是，对于旧模型的N个输出，将预测类别不是no object的作为伪标签。然而这些segment很有可能与gt重叠，或者mask包含噪声且置信度低。为此，作者提出了mask-based pseudo-labeling，同时考虑mask以及class的概率以避免噪声。对于第i个输出，其置信度为$q_i=p_i^{max}·m_i\in [0, 1]^{H\times W}$，其中$p_i^{max}=max_{k=1}^{K^{t-1}}p_i^o(k)$，$m_i^o$是旧模型预测得到的mask，pseudo-class为$c_i^{ps}=argmax_{k=1}^{K^{t-1}}p_i^o(k)$。生成伪标签时需要注意，pseudo-mask与gt segment不能重叠；包含进pseudo-mask的像素置信度在所有输出中应该最大。令$m_i^{bin}=m_i>0.5$（即mask中概率大于0.5的位置为1，其余为0，类似pytorch的张量操作），gt segment的并为$m_{all}^{gt}=\Sigma_{i=1}^{N^{ps}}m_i^{gt}$（这里不是特别理解为什么是$N^{ps}$而不是$N^{gt}$），则：

事实上，可能存在一个pseudo-mask包含许多0，因此最终的伪标签segment集合只包含相对于$m_i^{bin}$至少有一半像素且至少有一个活动像素的mask（这里也没太理解什么是相对于$m_i^{bin}$ ..），最终的标签数为$N^{gt}+N^{ps}$。

训练损失

通过匈牙利算法找到一组匹配，之后计算两个loss：$L_{Seg}$以及$L_{AD}$。$L_{AD}$计算的是自适应蒸馏损失，$L_{Seg}$如下：

前半部分是focal loss，$L_{mask}$是dice与cross-entropy的和。

实验