Boosting Weakly-Supervised Temporal Action Localization with Text Information概述

0.前言

相关资料：
- arxiv
- github
- 论文解读
论文基本信息：

领域：弱监督时序动作定位
发表时间：CVPR2023(2023.5.1)

1.针对的问题

　　由于缺乏时间标注，当前的弱监督时间动作定位方法通常陷入over-complete或不完全定位。本文旨在从两个方面来利用文本信息来提升WTAL，即:(a)判别目标，扩大类间差异，从而减少over-complete;(b)生成目标，增强类内完整性，从而找到更完整的时间边界。

2.主要贡献

　　(a)第一个利用文本信息来提高WTAL。且该方法可以很容易地扩展到现有的最先进的方法，并提高它们的性能。

　　(b)为了充分利用文本信息，设计了两个目标:判别目标力图扩大类间差异，从而减少over-complete;而生成目标则是增强类间的完整性，从而找到更完整的时间边界。

　　(c)大量实验表明，该方法在两个公共数据集上优于现有方法，全面的消融研究揭示了所提出目标的有效性。

3.方法

　　针对判别目标，提出了文本段挖掘(TSM)机制，该机制基于动作类标签构建文本描述，并将文本作为查询挖掘所有与类相关的片段。具体来说，首先使用提示模板将类标签信息合并到文本查询中。在没有时间标注的情况下，TSM需要将文本查询与整个数据集中不同视频的所有片段进行比较，在比较过程中，将挖掘与文本查询最匹配的片段，而忽略其他不相关的片段。这样，所有视频中具有相同类的片段和文本查询就会被拉得很近，而把其他的推得很远，从而增强了类间的差异。

　　由于视频的不同类别动作存在共享子动作，单纯应用TSM过于严格，忽略了与语义相关的片段，导致定位不完全。作者进一步引入了一个名为视频文本语言补全(VLC)的生成目标，它专注于视频中所有与语义相关的片段来补全文本句子。具体来说，首先，为视频的动作标签构建一个描述句子，并屏蔽句子中的关键动作词，如图2所示。然后设计注意力机制，尽可能完整地收集语义相关片段，通过语言重构器预测被屏蔽的动作文本，增强类内完整性。

　　模型框架如下：

　　上半部分为TSM，下半部分为VLC。

　　TSM由视频嵌入模块、文本嵌入模块和视频文本特征匹配模块组成。

　　视频嵌入模块。视频嵌入模块由两个1D卷积组成，然后是ReLU和Dropout层。将RGB和Flow特征融合，得到视频特征X∈R^{T ×2048}作为视频嵌入模块的输入。则可以由X = emb(X)得到相应的视频特征嵌入Xe∈R^T×2048，其中emb(·)表示视频嵌入模块。此外，利用注意力机制(多个卷积层加sigmoid)对每个视频片段V_j产生注意力权重att_m∈R^{T ×1}

　　文本嵌入模块。文本嵌入模块旨在使用动作标签文本生成一系列查询，用于挖掘视频中与类别文本相关的片段。对C类动作标签文本采用category-specific可学习提示，形成文本嵌入模块L_q的输入:

　　其中L_s表示随机初始化的[START]token，L_p表示长度为N_p的可学习文本上下文，L_e表示GloVe生成的动作标签文本特征嵌入。此外，第C + 1个额外的背景类嵌入被初始化为0。然后使用Transformer编码器作为文本嵌入模块来生成文本查询得到类文本查询X_q∈R^(C+1)×2048。

　　视频文本特征匹配。用于匹配与语义相关的文本查询和视频片段特征。具体来说，对视频嵌入特征X_e与文本查询X_q进行内积运算，生成段级视频文本相似矩阵S∈R^Tx(C+1)。此外，使用注意力权重att_m来抑制背景片段对动作文本的响应。背景抑制的段级匹配结果∈R^{T ×C+1}通过= att_m* S得到，“*”表示元素级乘法。最后，使用top-k多示例学习来计算匹配损失。具体来说，计算特定类别文本查询对应的时间维度上top-k相似度的平均值作为视频级视频-文本相似度。

　　对于第j个动作类别，视频级相似度v_j和分别由S和生成:

　　其中l是包含与第j个文本查询相似度最高的top-k片段索引的集合，k是选中的片段个数。然后，将softmax应用于v_j和来生成视频级相似度分数p_j和。鼓励视频文本类别的positive得分匹配接近1，negative得分接近0，训练TSM目标;

　　其中y_j和是视频文本匹配的标签。此外，额外的第C + 1背景类在中为0，在y_j中为1。

　　VLC的目标是通过尽可能全面地关注与文本相关的视频片段，补全视频描述中的被屏蔽关键词。提出的VLC也包含一个视频嵌入模块和一个文本嵌入模块。利用transformer重构器实现多模态交互，补全原始文本描述。

　　视频嵌入模块。给定原始视频特征X∈R^{T ×2048}，通过全连接层得到相应视频特征嵌入X_v∈R^{T ×512}，使用于TSM中相同的注意力机制以掘文本语义相关视频的positive区域，得到注意力权重att_r∈^{T ×1}。

　　文本嵌入模块。WTAL任务的数据集只提供动作视频及其动作标签，不包含描述相应视频的任何句子。因此，首先使用提示模板“a video of [CLS]”和动作标签文本来构建视频的描述句。然后，对描述句的关键动作词进行掩码，用GloVe和一个全连接层对掩码句进行嵌入，得到句子特征嵌入∈R^M×512，其中M为句子长度。