《what's the point: semantic segmentation with point supervision 》阅读笔记

摘要

语义分割任务在发展中呈现这样的矛盾，在推理的准确性和标注所花费的时间之间。逐像素的细节标注可以训练更准确的模型，但要花费更多的时间。图片级别的标注是一个容易实现的方式，但结果会得到不准确的模型。我们很自然的选择了比图片级标注更强一点的监督方式：为每一个存在的对象标注一个点，我们试着将这种点标注与实例级别任务的损失函数结合，形成卷积神经网络。在pascal voc2012的实验结果表明，相比图片级标注，这种结合使结果提升了12.9%的mIOU。另外，我们演示了使用点标注进行训练的模型相比图片级标注更准确，相比像素级全监督耗时更少。

1.简介

在视觉识别最前沿的问题是如何有效的教给计算机新的概念。相比弱监督学习的算法，那些在仔细标注的数据上进行训练的模型有着更好的表现，然而获取这样的数据需要花费大量的时间。 获取语义分割的训练数据尤其困难，例如，在图片中为每一个像素点标注一个类别标签。强监督方法需要像素级标注的数据集。对单一目标的的精准标注需要花费54s到79s的时间，一个通常的场景图片中包含有23个对象，每一张图片的标注时间大概在10分钟。针对这个问题，一些方法试着从更有效地操作界面去改进，以减少标注所花费的时间：例如只在需要的是时候进行人机交互反馈。然而，准确的像素级标注依然是费事、稀少的。 为了减轻大范围细节标注的需要，弱监督语义分割技术被提出。最常见的一种方式是在训练的时候只提供图片级别的，类别的标注，但其它形式的弱监督也在发展，例如边框标注，人眼路径，自由曲线等，这些方法在训练时只需要很少的标注信息，但是不能在分割时会获得和全监督学习一样得效果 在我们的工作中，我们相比图片级标注增加了一点点时间花费，向更强的语义分割迈出自然的一步。 人类识别目标更自然地方式是使用点标记：“这个猫在这里”（点）或者“这里有什么”（点）。神经学的研究揭示了，人类持续的使用点指向目标。机器人领域和人机交互领域长久的使用点进行有效的沟通，点标记在语义分割中还没有被充分探索。 我们最重要的贡献是一个以点标记为基础的用于分割的弱监督模型。我们对最先进的用于语义分割的卷积神经网络模型进行扩展，将点标记监督信息纳入损失函数中。只需要为每个对象标注一个对应的点，就使分割准确率提升了相当高的等级。我们在PASCALVOC2012数据集上进行了广泛的人工研究，去标记点信息，并统计点标记时间。我们也制作了操作界面并向社区提供。 对点标注一个挥之不去的担心是，这很难拓展到整个目标范围。我们第二个贡献是直接将目标的先验结合到损失函数中，指导训练。这种先验知识有助于将目标从背景中分离，通过提供像素点属于一个目标的概率值。这种先验知识过去被用在分割模型中，产生一系列备选分割区域，用于条件随机场中的一元势。但，我们是最早将他放入损失函数指导cnn训练的。 我们的两种结合使miou提高了12.9%，相比图片级别的信息。

2.相关工作

语义分割的监督信息种类 为了减少标注的时间，最近的研究在尝试使用弱监督训练模型，很多种监督信息的形式被发表，包括人眼轨迹，自由曲线，对象大小对比，heterogeneous annotations。通常的选择是图片级标签和边框。
在标注时间和准确性之间有一个权衡:训练模型中
具有更高级别的监督比弱监督的模型更准确，但它们需要昂贵的人工注释数据集。

语义分割CNNs 最近语义分割上的成功，要归功于为图片中每一个像素点做分类的方法。
交互式分割

3.语义分割方法

点监督信息只在训练的时候提供，训练好的模型只使用原始图片进行分割任务。 一个用于分割的CNN模型，无论是监督还是非监督。这个模型输入尺寸为 W * H的原始图片，输出W*H*N的分数图， N 是 CNN要识别的类别数。在推理时，分数图转变为W*N上每一个像素点的类别，通常使用取最大值或者其他更复杂的后处理方式。 使用不同的监督信息训练模型需要使用适合场景的损失函数，我们将常用的两种损失函数进行了拓展

全监督

（这个是交叉熵，L代表像素点集合，\(s_ik\)是i点k类别的分数， \(S_ik\)是softmax的\(s_ik\)，\(G_i\)是i点真实标签的类别）

图片级监督

（这个式子会让图片类别标注中，取存在的类别的分数最大的点的分数变大，取不存在类别的分数最大的点的分数变小）
点标记监督

（是将上边两个式子结合，\(a_i\)在这里是统一的，\(L_s\)是很小一部分被点标记的点）

我们使用很少或者没监督的像素点训练模型的问题是，一个问题是正确的推断目标的空间范围。实际上，弱监督方法倾向于局部极小值：只关注一部分目标对象，或者将所有像素点归为背景。为了缓解这种问题，我们引入了附加的，目标概率的先验项。目标概率提供一个像素点属于任何目标类别的概率。 ，相对于背景来说，这种概率被用于弱监督语义分割模型，称为一元势。

（\(P_i\)表示一个点属于一个目标的概率，它不是损失函数，是通过一个函数先验得到的，共有21个类别，20个目标类和一个背景类。当\(p_i\)较高时，会倾向于获得比较高的目标类别分数，相反较低时，会获得高背景分数）

4.标注

点标注耗时 22.1 sec/img ， 全像素标注 239.7 sec/img，相差10倍多。

5.实验

实验首先对比了点标注相对于图片级标注的提升，和全监督的对比（表中列2，4，和倒数第三列） 然后做了几个扩展实验，allpoints是每个实例都标注，random annotattors是人工多次标注，random points 是随机取正确的标注点。 值得注意的是，随机取点分数居然要高于其他点标注，这是由于，随机性在正确的前提下，引入了更多信息。