多目标追踪小抄：快速了解MOT的基本概念
多目标跟踪（Multiple Object Tracking）
MOT 获取单个连续视频并以特定帧速率 (fps) 将其拆分为离散帧以输出
- 检测每帧中存在哪些对象
- 标注对象在每一帧中的位置
- 关联不同帧中的对象是属于同一个对象还是属于不同对象
MOT的典型应用
多目标跟踪（MOT）
- 用于交通控制、数字取证的视频监控
- 手势识别
- 机器人技术
- 增强现实
- 自动驾驶
MOT 面临的挑战
准确的对象检测的问题是未能检测到对象或者为检测到的对象分配错误的类别标签或错误地定位已识别的对象：
- ID Switching发生在两个相似的物体重叠或混合时，导致身份切换；因此，很难跟踪对象 ID。
- 背景失真：复杂的背景使得在物体检测过程中难以检测到小物体
- 遮挡：对象被另一个对象隐藏或遮挡时会产生这个问题。
- 多个空间空间、变形或对象旋转
- 由于运动模糊而在相机上捕获的视觉条纹或拖尾
一个好的多目标跟踪器（MOT）
- 通过在每帧的精确位置识别正确数量的跟踪器来跟踪对象。
- 通过长期一致地跟踪单个对象来识别对象，
- 尽管有遮挡、照明变化、背景、运动模糊等，仍可跟踪对象。
- 快速检测和跟踪物体
常见的 MOT 算法
1、基于质心的对象跟踪
基于质心的对象跟踪利用视频中两个连续帧之间检测到的对象质心之间的欧几里得距离。
Intersection-over-Union 是另一种对象跟踪技术，它通过后续帧的空间重叠将后续帧的检测与轨迹相关联。
Visual IOU Object Tracker 有两个方向工作；对象的视觉前向和后向跟踪有助于合并中断的轨迹。
2、简单的在线实时跟踪 (SORT)
SORT 方法假设跟踪质量取决于对象检测性能。SORT 首先使用 Faster Region-CNN (FrRCNN) 检测对象。
通过预测其在当前帧中的新位置来更新使用卡尔曼滤波框架优化解决的目标状态，将对象检测与检测到的边界框相关联。
为每个检测分配Cost矩阵来计算与来自现有目标的所有预测边界框之间的交并联合（IOU）距离。使用匈牙利算法解决分配问题。
SORT算法有助于减少遮挡目标，当物体运动较小时，Id切换效果很好。SORT 在具拥挤场景和快速运动的情况下可能会失败
Deep SORT：Deep SORT 是 SORT 的扩展，允许通过更长时间的遮挡进行跟踪，实现简单并且可以实时运行。
Deep SORT采用单一的传统假设跟踪方法，具有递归卡尔曼滤波和使用匈牙利算法的逐帧数据关联。
外观特征描述了给定图像的所有特征。Deep SORT 还利用类似于 SORT 的匹配级联来对更常见的对象进行优先级排序。
Deep SORT 减少了 ID 切换和遮挡，从而降低了误报率。
完整文章：
https://avoid.overfit.cn/post/192509f7af104f7ca4a846ec925a0782
