对Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions的进一步总结
利用来自自然语言句子描述的带有动词和名词短语标注的视频，以弱监督的方式检测视频中的人-物交互，并检测视频多帧中的人和物体边界框，这里的弱监督指的是在训练时不需要边界框注释，同时，允许以零次学习的方式检测罕见和未见过的人-物交互。
主要创新点：引入了一种对比性的弱监督训练损失，可以在无边界框标注的情况下检测人-物交互并生成人类，物体边界框。
整个训练步骤如下图所示。
给定一个视频片段和一个动词-对象查询，对于每一帧，首先提取它的人和物体区域特征。人/物体特征聚合进一个区域注意模块中，以关注与查询更相关的区域。利用人类注意力特征、物体注意力特征、动词-宾语查询特征和其他帧的物体区域特征来计算弱监督对比损失。
总体训练损失如下：
其中，为弱监督对比损失，为稀疏学习损失，为分类损失。
总体损失建立在对比损失的基础上，对比损失旨在促使单位长度特征的正对接近（用点积测量），负对在特征空间中距离很远。
其中f为anchor特征，f’为正特征，{fn}Nn=1为N个负特征。基于上式，提出了一种弱监督语言嵌入对齐损失来对齐时空区域与输入动词-宾语查询，以及一种自监督时间对比损失，以鼓励目标区域的时间连续性.
