SF-Net:Single-Frame Supervision for Temporal Action Localization流程概述
1.针对的问题
在动作定位领域,全监督标注困难,成本较高,而弱监督性能较差,特别是难度比较大的数据集上几乎失效,在之前已经有人在动作识别领域使用了单帧监督,作者进行了拓展,利用单帧监督进行动作定位。
2.主要贡献
(1) 第一次使用单帧监督来解决动作时间边界定位问题。与完全监督标注相比,单帧标注显著节省了标注时间。
(2) 提出了两种新的方法来挖掘可能的背景帧和动作帧。这些可能的背景和动作时间戳被进一步用作训练的伪ground-truth。
(3) 在三个基准上进行了大量实验,在分段定位和单帧定位任务上的性能都得到了很大提高。
3.方法
框架流程如下:
对于N个视频的训练batch,将所有帧的特征提取并存储在特征张量X∈RN×T×D中,其中D为特征维数,T为帧数。由于不同的视频时间长度不同,当视频的帧数小于T时,简单地填充零。
得到的X一方面进入分类模块,该模块输出输入视频中所有帧的每个动作类的分数,同时聚合C来计算视频级分类损失
X另一方面进入动作性模块,该模块为每个帧生成一个标量,以表示该帧包含在动作片段中的概率,这个模块感觉是一个辅助模块,它使模型关注与目标动作相关的帧。
由于每个动作实例只有一个标签,正例的总数非常少,可能很难从中学习。所以在获得分数之后,利用该分数挖掘动作帧和背景帧,从而在训练过程中引入更多的帧。具体来说:
(a) 动作帧挖掘:将每个有标签的动作帧视为每个动作实例的锚帧。首先设置扩展半径r,以限制到锚帧t的最大扩展距离。然后从t-1帧扩展到过去,从t+1帧扩展到未来。假设锚框架的动作类由yi表示。如果当前扩展帧与锚定帧具有相同的预测标签,并且yi类的分类分数高于锚定帧乘以预定义值ξ的分数,那么用标签yi标注该帧,并将其放入训练池。否则,我们将停止当前锚帧的扩展过程。
(b) 背景帧挖掘:背景帧在定位方法[19,26]中也很重要并被广泛使用,以提高模型性能。由于在单帧监督下没有背景标签,作者提出的模型能够从N个视频中的所有未标记帧中定位背景帧。一开始,没有监督背景帧的位置。但是,显式引入一个背景类可以避免将一个帧被强制分类为一个动作类。作者提出的背景帧挖掘算法可以提供训练此类背景类所需的监督,从而提高分类器的可分辨性。假设试图挖掘ηK个背景帧,首先从C中收集所有未标记帧的分类分数。η是背景帧与标记帧的比率。然后,这些分数沿背景类排序,以选择最高的ηK个分数pb∈RηK作为背景帧的得分向量。