对Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning的进一步总结
传统异常检测的方法对阳性示例的识别,即异常视频中罕见的异常片段,在很大程度上受到优势负示例的影响,特别是当异常事件是细微的异常,与正常事件相比只有微小的差异时。为了解决这一问题,论文中引入了一种新的、理论上健全的方法,称为鲁棒时间特征幅值学习(RTFM),RTFM是基于top-k示例MIL,其最大特点在于:假设异常片段的平均特征幅值大于正常片段的幅值(使用L2范数计算特征幅值),而不是假设异常片段和正常片段的分类分数之间的可分性。从而解决了top-k示例MIL存在的问题。
左图:异常和正常视频片段的时间特征幅值,来自异常和正常视频(X+和X−)。假设µ=3表示异常视频中异常片段的数量,
度量了异常和正常视频分数之间的差异性,通过选择前k个(k≤µ)具有最大时间特征幅值的片段(分数是用前k个片段幅值的平均值来计算的)。右:
在k∈[1,µ]区间增大,然后在k>µ区间减少,证明了RTF可以使得MIL模型在k≈µ时为异常和正常视频提供一个更好的分离度,即使存在一些有大特征幅值的正常片段。
总体框架:
RTFM接收一个从一个包含T个片段的视频中提取的T×D特征矩阵F。然后,MTN(多尺度时间网络)捕获代码片段特征之间的长短时依赖关系,以生成X=sθ(F)。接下来,最大限度地提高异常和正常视频特征之间的可分性,并使用来自异常和正常视频的前k个最大幅值的特征片段来训练片段分类器。