AI智能视频监控中的行人检测与跟踪，为什么这项技术很难做？

监控系统中的行人检测监控包括异常事件检测、人类步态、人群拥挤等评估、性别分类、老年人跌倒检测等，这些检测对于公共领域的安全至关重要。研究人员的主要重点是开发监控系统可以在动态环境中工作，但设计此类系统目前存在重大挑战。

这些挑战发生在行人检测的三个不同级别，即：视频采集、人体检测及其跟踪。获取视频的挑战是：光照变化、突然运动、复杂背景、阴影、物体变形等。人体检测和跟踪的挑战是不同的姿势、遮挡、人群密度区域跟踪等。这些因素的限制经常会导致识别率较低。

本文简要介绍了监控系统以及视频监控中行人检测和跟踪技术的对比。

目标检测：

目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某个类别（例如人类、建筑物或汽车）的语义对象的实例，并在这些对象上自动创建边界框。 

什么是基于深度学习的人流量统计？

计算机视觉人数统计使用深度学习算法来检测和跟踪监控摄像头实时视频中的个人。深度学习算法则在室内和室外场景中都提供了高精度。

实时视频流中的自动人员检测和统计在智能视频监控中很重要，也是智慧城市的一个关键应用。 例如，在商场中，它还可以用来帮助商场分析室内和室外场景中的访客流量。

由于采取了 COVID-19 社交隔离措施来防止病毒的传播，最近对商店中的人数进行统计变得越来越流行。另一个流行的用例是排队人数的统计。

AI人流量统计的主要特点

• 使用监控摄像头的计算机视觉是一种高度可扩展的方法，可以准确地统计多地点的人数。
• 使用深度学习模型进行人员检测以检测人员及其轨迹。
• 在摄像机图像内定义感兴趣的区域以聚焦人员检测器（出口、入口、排队区域）。
• 具有深度神经网络的高性能，可在复杂、拥挤的空间中对人数进行计数。
• 边缘计算机视觉允许通过本地图像处理进行设备上机器学习以保护隐私。

基于AI视觉的人数统计的价值

• 基于深度学习的客流量计数系统以最少的硬件要求实现高精度。
• 无需物理跟踪设备、安装和维护成本高昂的自动和非接触式人数统计。
• 普通监控摄像头可用于人数统计，即使在大规模用例中，该方法也相对容易实施。
• 通过确保遵守法规（例如与 COVID-19 措施相关的法规）来提高客户和员工的安全。
• 实时评估零售店内人数、发现高峰时间等，并比较不同地点的关键指标来指导门店运营。
• 通过将数据发送到第三方系统并在平台中对其进行可视化，以此来挖掘基于数据的运营洞察力。

这项技术目前面临的难点

遮挡：在很多应用场景中，行人非常密集，存在严重的遮挡，我们只能看到人体的一部分，这对检测算法带来了严重的挑战。

外观差异：包括视角，姿态，服饰和附着物，光照，成像距离等。从不同的角度看过去，行人的外观是很不一样的。处于不同姿态的行人，外观差异也很大。由于人穿的衣服不同，以及打伞、戴帽子、戴围巾、提行李等附着物的影响，外观差异也非常大。光照的差异也导致了一些困难。远距离的人体和近距离的人体，在外观上差别也非常大。

形变：目标表观的不断变化，通常导致跟踪发生漂移（Drift）。

背景杂斑：要跟踪的目标周围有非常相似的目标对跟踪造成了干扰。无论是室内还是室外，行人检测一般面临的背景都非常复杂，有些物体的外观和形状、颜色、纹理很像人体，导致算法无法准确的区分。

尺度变换：目标在运动过程中的由远及近或由近及远而产生的尺度大小变化的现象。

检测速度：行人检测一般采用了复杂的模型，运算量相当大，要达到实时非常困难，一般需要大量的优化。

除了上述几个常见的挑战外，还有一些其他的挑战性因素：光照，低分辨率，运动模糊，快速运动，超出视野，旋转等等。

拓展阅读

基于AI深度学习算法，EasyCVR视频融合云平台具有AI人脸检测、人脸识别、人流量统计、语音对讲、云台控制、声光告警、监控视频分析与数据汇总的能力，已经在智慧景区、智慧楼宇、智慧工地等项目中落地使用。 

EasyCVR通过对视频监控场景中的人、车、物进行抓拍、检测与识别，对异常情况进行智能提醒和通知，支持实时视频监控与抓拍，对图片和视频源中面部特征进行提取分析，可实现多人脸检测与抓拍、人脸属性分析（如性别、年龄）、人脸识别、人流量统计、人脸比对检索、人脸库管理等。