全景分割
全景分割
Panoptic Segmentation
论文链接：
摘要
本文提出并研究了一个称为全景分割（PS）的任务。全景分割结合了语义分割（为每个像素指定一个类标签）和实例分割（检测并分割每个对象实例）这两个典型的不同任务。提出的任务要求生成一个丰富而完整的连贯场景分割，这是迈向现实世界视觉系统的重要一步。虽然计算机视觉的早期工作解决了相关的图像/场景解析任务，但这些任务目前并不流行，可能是由于缺乏适当的度量或相关的识别挑战。为了解决这个问题，本文提出了一种新的全景质量（PQ）度量，它以可解释和统一的方式捕获所有类（东西和事物）的性能。使用所提出的度量，本文在三个现有数据集上对PS的人和机器性能进行了严格的研究，揭示了关于该任务的有趣见解。本文的工作目标是在一个更统一的图像分割的观点中恢复专业社区的兴趣。
1. Introduction
在本文的工作中，本文的目标是恢复这一方向。本文提出的任务是：
（1） 包含材料和材料类，
（2） 使用简单但通用的输出格式，并且
（3） 引入统一的评估指标。
为了清楚地消除与先前工作的歧义，本文将得到的任务称为全景分割（PS）。“全景”的定义是“包括在一个视图中可见的所有内容”，在本文的上下文中，全景指的是一个统一的全局分割视图。
本文采用的全景图分割的任务格式很简单：图像中的每个像素都必须分配一个语义标签和一个实例id，标签和id相同的像素属于同一个对象，而对于素材标签，实例id被忽略。请参见图1d中的可视化。这种格式以前已经被采用，特别是那些产生非重叠实例分段的方法[18，28，2]。本文采用它来完成本文的共同任务，包括一些相关素材。全景分割的一个基本方面是用于评估的任务度量。虽然许多现有的度量标准对于语义或实例分割都很流行，但这些度量标准分别最适合于内容或事物，但不能同时适用于两者。本文认为，不相交度量的使用是社区通常孤立地研究素材内容分割的主要原因之一。
为了解决这个问题，本文在第4节中引入了全景质量（PQ）指标。PQ是一种简单而信息丰富的方法，最重要的是它可以以统一的方式测量事物和事物的性能。本文希望，拟议的联合指标将有助于更广泛地通过联合任务。全景分割任务包括语义和实例分割，但引入了新的算法挑战。与语义分割不同，它需要区分单个对象实例；这对完全卷积网络提出了挑战。与实例分割不同，对象段必须是不重叠的；这对独立操作每个对象的基于区域的方法提出了挑战。产生连贯的图像分割来解决东西之间的不一致是迈向现实世界的重要一步。
由于PS算法的地面真值和算法格式必须具有相同的形式，因此本文可以对全景分割中的人类一致性进行详细的研究。这使本文能够更详细地理解PQ度量，包括识别与分割、事物与性能的详细分类。此外，测量人的PQ有助于本文理解机器的性能。这一点很重要，因为这将使本文能够监控PS的各种数据集上的性能饱和。最后，本文对机器性能进行了初步研究
为了做到这一点，本文定义了一个简单且可能是次优的启发式方法，通过一系列的后处理步骤将两个独立的语义和实例分割系统的输出合并起来（本质上是一种复杂的非最大抑制形式）。本文的启发式方法为PS建立了一个基线，并让本文深入了解它提出的主要算法挑战。本文在三个流行的分割数据集上研究了人和机器的性能，这些数据集都有东西注释。这包括城市景观[6]、ADE20k[55]和地图远景[35]数据集。对于这些数据集，本文直接从挑战组织者那里获得了最新方法的结果。
在未来，本文将把本文的分析扩展到COCO[25]上，在COCO[25]上对内容进行注释[4]。这些数据集上的本文的结果形成了一个坚实的基础研究人类和机器性能的全景分割。COCO[25]和Mapillary Vistas[35]在ECCV2018的识别挑战中都将全景分割任务作为其中一个轨迹。本文希望，在这些流行的识别数据集上，将PS与实例和语义分割轨迹一起使用，将有助于更广泛地采用规范的合作任务。
2. Panoptic Segmentation Format
Task format.
Stuff and thing labels.
Relationship to semantic segmentation.
Relationship to instance segmentation.
Confidence scores.
3. Panoptic Segmentation Metric
在这一节中，本文介绍了一种新的全景分割度量。本文首先注意到，现有的度量标准是专门用于语义或实例分段的，不能用于评估同时涉及stuff和thing类的联合任务。先前关于联合分割的工作通过使用独立的度量标准（例如[51，41，42，40]）来评估材料和事物的性能，从而避开了这个问题。
然而，这给算法开发带来了挑战，使得比较更加困难，并且阻碍了通信。本文希望引入一个统一的东西和事物度量将鼓励对统一任务的研究。在进一步讨论细节之前，本文首先确定以下适合PS度量的设计：完整性。度量标准应该以统一的方式处理类和类，捕获任务的所有方面。可解释性。本文寻求一个具有明确含义的指标，以促进沟通和理解。
简单。
此外，该指标应易于定义和实施。这提高了透明度，便于重新实施。与此相关的是，该指标应能有效计算，以实现快速评估。在这些原理的指导下，本文提出了一种新的全景质量（PQ）度量方法。PQ测量与地面真实度相关的预定全景分割的质量。 它包括两个步骤：（1）分段匹配和（2）给定匹配的pq计算。本文描述下一步的每个步骤，然后返回到与现有度量的比较。
4. Panoptic Segmentation Datasets
Cityscapes
ADE20k
Mapillary Vistas
5. Human Consistency Study
全景分割的一个优点是它能够测量人类符号的一致性。除了这本身作为一个有趣的目的外，人类一致性研究允许本文详细了解任务，包括本文提出的度量标准的细节以及人类一致性在各个轴上的分解。这使本文能够洞察任务带来的内在挑战，而不会因算法选择而影响本文的分析。此外，人类研究有助于地面机器性能（在第7节中讨论），并允许本文校准对任务的理解。
Humanan notations.
Human consistency.
Stuff vs. things.
Small vs. large objects.
IoU threshold.
6. Machine Performance Baselines
本文现在提出一个简单的机器基线进行全景分割。本文对三个问题感兴趣：（1）高性能实例和语义分割系统的启发式组合是如何实现全局分割的？（2） PQ与AP和IoU等现有指标相比如何？（3） 机器的结果和本文之前展示的人类结果相比如何？
Algorithms and data.
Instance segmentation.
Panoptic segmentation.
Human vs. machine panoptic segmentation.
7. Future of Panoptic Segmentation
本文的目标是通过邀请专业社团探索新的全景分割任务来推动研究的创新方向。本文认为，拟议的任务可以带来预期和意外的创新。最后，本文讨论了其中一些可能性和本文未来的计划。由于算法简单，本文提出的PS算法是基于最优实例输出和语义分割系统的启发式组合。这种方法是基本的第一步，但本文希望引入更多有趣的算法。具体来说，本文希望看到PS至少在两个领域推动创新：
（1）深度集成的端到端模型，同时解决了PS的双重特性和事物特性。许多实例分割方法包括[28，2，3，18]被设计成产生非重叠的实例预测，并且可以作为这种系统的基础。
（2） 由于一个PS不能有重叠的片段，一些更高层次的“推理”形式可能是有益的，例如，基于扩展可学习的NMS[7，16]到PS。本文希望全景分割任务将激励这些领域的研究，导致令人兴奋的视觉新突破。最后，本文注意到COCO[25]和Mapillary Vistas[35]都将全景分割任务作为一个挑战轨迹，并且提议的任务已经开始在专业社团中获得吸引力（例如[23、48、49、27、22、21、17]）。
