多目标检测整合算法

多目标检测整合算法

输入输出接口

Input：image/video

Output：（1）BandingBox左上右下的坐标位置

        （2）Type类型：人，车，…，…

        （3） 执行度：是指判别目标物为某种类型的比率。比如为人，车，…，…的比率。

        （4）需要灯光投射控制区域的左上右下的坐标位置

        （5）摄像头与目标物距离

        （6）ID号（特指目标物跟踪）

算法介绍和设计方案

在图片多目标检测的应用基础之上，对视频帧进行离散化的处理，从而达到处理视频的效果。评判目标检测系统的标准有三个重要的指标。

（1）使用公式：IOU=TP/(TP+FP+FN)来评估模型，即判别预测的方框和真实的方框的重叠度。

（2）mAP(Mean Average Precision)，在多个类别的检测中，每一个类别都可以调整阈值，算出召回率从0到1时的准确率（同一召回率取最高的准确率），计算准确率的平均值，而后再对于所有类求平均得到 mAP。该值介于0到1之间，且越大越好。

（3） FPS（Frames Per Second），用于评判系统检测速度。本系统主要按照以上三个指标对多目标检测任务进行评估，最终在数据集上的达到官方实验效果，鉴于数据各种场景的复杂性，其最终IOU和mAP难以评估，估计会低于预期。

在实现标准数据集实验效果的基础上，进行各种场景的迁移学习从而进行微调，并最终应用于处理视频帧，现初步预定帧率为35FPS，但使用环境的不同可能会影响最终的帧率。

 

 

 

图1. 多目标检测实例

参考传统目标检测算法，综合目前各种深度学习网络模型在多目标检测任务中的应用效果，本项目拟采用初步复现，稳步提升的总体路线，从经典的Faster RCNN到SDD …… 一直到最新的YOLOv3，逐一验证和改进并产品化。鉴于此，项目的开发总体流程如图2所示：

 

 

 

图2. 系统总体流程图

依据VOC、MS COCO等标准数据集对多目标检测任务的数据标注形式和规则，本项目的数据集需要按如下方式组织，标注数据的形式和其对应的原始图像如图3所示：

 

 

 

 

图3. 数据标注样例（左）与原始图像数据（右）

本系统暂拟定复现和改进YOLOv3网络，但在此之前会验证Faster RCNN和YOLOV3等网络模型。

Faster RCNN网络结构说明：

 

 

 

图4. Faster RCNN网络结构

Faster RCNN可以看做“区域生成网络RPNs + Fast RCNN”的系统，用区域生成网络代替Fast RCNN中的Selective Search方法。 RPN网络的核心思想是使用CNN卷积神经网络直接产生Region Proposal，使用的方法本质上就是滑动窗口（只需在最后的卷积层上滑动一遍），由anchor机制和边框回归可以得到多尺度多长宽比的Region Proposal。

YOLOV3网络结构说明：

 

 

 

图5. YOLOV3网络结构

YOLOV3使用VGG-16-Atrous作为基础网络，其中黄色部分是在VGG-16基础网络上添加的特征提取层。YOLOV3与YOLO不同之处是除了在最终特征图上做目标检测之外，还在之前选取的5个特特征图上进行预测。从图5可以看出，检测过程不仅在添加特征图(conv8_2， conv9_2， conv_10_2， pool_11)上进行，为了保证网络对小目标有很好检测效果，检测过程也在基础网络特征图(conv4_3， conv_7)上进行。

 

 

 

图6. 车辆检测算法性能对比

YOLOv3网络结构说明：

 

 

 

 

图7. YOLOv3网络结构

YOLOv3模型是目前YOLO系列中最新的、执行效果最好和处理速度最快的目标检测模型，可用于服务器端的部署。

集成整合方案：

第一，使用COCO数据集，将行人，车辆，地面标识，TSR的COCO公开数据集进行整合，使用yolov3在GPU上进行训练和测试，反复调整网络结构和参数，直到训练loss收敛，测试结果性能指标和检测图像输出显示效果较佳。

第二，整合视觉行人，车辆，地面标识，TSR的数据集，使用上一步的yolov3网络模型，用迁移学习的方法，训练和测试视觉的数据集，反复调整yolov3的网络模型和参数，直到训练loss收敛，测试结果性能指标和检测图像输出显示效果较佳。

第三，将上一步yolov3的网络模型集成到FPGA板子上，继续利用整合好的视觉的数据集，反复调整网络模型和参数，反复优化网络结构，保证准确度，召回率，帧率都达到较佳的效果。

Schedule：

在GPU上完成coco数据集上的yolov3整合。

在GPU上完成自主采集数据集上的yolov3整合。

在FPGA上完成自主采集数据集上的yolov3整合。

性能指标：

在自主采集数据集上达到（详细指标在开发过程中逐步修正）

 

 

	行人	车辆	路面标识	TSR	备注
准确度	80%（60米）	80%（100米）	80%（50米）	80%（60米）
召回率	50%（60米）	60%（100米）	50%（50米）	50%（60米）
帧率	30fps	30fps	30fps	30fps

表1. 性能指标

 

集成

算法开发完成后，将算法集成到嵌入式硬件平台用于路测。