YOLO V1、V2、V3算法 精要解说

前言

  之前无论是传统目标检测,还是RCNN,亦或是SPP NET,Faste Rcnn,Faster Rcnn,都是二阶段目标检测方法,即分为“定位目标区域”与“检测目标”两步,而YOLO V1,V2,V3都是一阶段的目标检测。

  从R-CNN到FasterR-CNN网络的发展中,都是基于proposal+分类的方式来进行目标检测的,检测精度比较高,但是检测速度不行,YOLO提供了一种更加直接的思路:

  直接在输出层回归boundingbox的位置和boundingbox所属类别的置信度,相比于R-CNN体系的目标检测,YOLO将目标检测从分类问题转换为回归问题。其主要特点是

  •速度快,能够达到实时的要求,在TitanX的GPU上达到45fps;

  •使用全图Context信息,背景错误(把背景当做物体)比较少;

  •泛化能力强;

 YOLO V1
  
 
 
UnifiedDetection(统一检测)核心思想:
1.将输入图像划分为S*S个gridcell(网格单元);如果一个object物体的中心是位于这个gridcell内,那么这个gridcell就负责检测这个物体;如下图
2.每一个gridcell需要预测B个boundingboxes坐标信息(x,y,w,h)以及这些boundingboxes的置信度confidence。
YOLOv1中的坐标信息(x,y,w,h)表示的是boxes中心点坐标相对于当前图像宽度、高度的比值,w、h是boxes的宽度、高度和实际图像的宽度、高度的比值;
置信度confidence反映的是模型对于这个预测的boundingbox中包含物体的可能性大小。
3.每个gridcell还需要预测C个类别的概率(conditionalclassprobability),以判断当前cell属于哪个类别C。
•NOTE:Confidence置信度表示的是boundingboxes包含物体的概率值,而conditionalclassprobability表示的是每个gridcell属于某个类别的概率值。
4.每个gridcell的class信息和每个boundingbox预测的confidence信息相乘,就可以得到每个boundingbox的class-specificconfidencescore。
论文建议:S=7,B=2,在PASCALVOC数据集中,最终预测值形状为7x7x30的Tensor对象,C=20(该数据集的类别)
 这个30的维度是这样的:S*S(B*5+C),5的意思是两个边框的x、y、w、h、confidence。(confidence 代表了所预测的 box 中含有 object 的置信度和这个 box 预测的有多准这两重信息)
主干网络:
  其主干网络是Googlenet

 

 其想做的事如此看来很清晰,先判断是目标还是背景,若是目标,则再判断是属于这20个类别的哪个类(此VOC数据集是20个类别,别的数据集就是别的类别)

因为论文建议了我们一个grid cell最好是承载着两个边框,即bounding box,那么,这幅7*7个cell的图就有98个边框了,如下图

 

 每个边框都是上面公式计算来的,我有写的,即背景还是物体的概率*20个类哪个类别的概率,如下图

然后呢 ,就是处理这98个框框,如下图

 

这总共是20个类别,一行行的这么处理,直到20行处理完毕

然后对结果遍历,如果置信度的评分大于0,那这个框就可以代表此物体,如果得分小于0,就不行,如下图

 

 来看一下损失函数吧,我把它分成了三类

总结一下,并分析一下优缺点:

优点
•运行速度快,因为是一阶段的;
•背景预测错误的情况比较少;
缺点
•对于实际物体的效果没有FasterR-CNN效果好;
•如果一个gridcell中包含多个相同类别的小物体,那么YOLOv1每个单元格最多可以检测出两个物体(论文的建议设置导致的,因为它建议一个grid cell 里面最好只是两个边框,如果不是两个边框,效果不会好)。如下图

 YOLO V2

  算法的增强正是有了对原来的基础不断改进才得来的,YOLO V2相对于V1主要有三方面变化。

Better,Faster,Stronger:
•1.Better:从精度方面进行改进,让效果从YOLOv1的63.4%mAP上升到YOLOv2的78.6%mAP,基本和FasterR-CNN以及SSD持平。
•2.Faster:网络结构方面做了更改,让模型速度更快;
•3.Stronger:对这个损失函数做一个变化;
 
•BatchNormalization
•在每一个卷积层后加入BatchNormalization,mAP提升2%,BatchNormalization有助于规范化模型,防止过拟合。
•HighResolutionClassifier:
•一般的目标检测方法中,基本上会使用ImageNet预训练的模型来提取特征,比如使用AlexNet或者VGG网络,那么输入的图片会被resize到不足256*256的大小,这样会导致分辨率不够高,目标检测比较困难;在YOLOv2中自定义了darknet分类网络,将图像的输入分辨率更改为448*448,然后在ImageNet上训练10轮,训练后的网络可以适应高分辨率的输入;应用到检测的时候,对检测部分网络进行finetune,mAP提升4%。

ConvolutionalwithAnchorBoxes:
•借鉴FasterR-CNN中的anchor思想,产生多个boundingboxes先验框,通过这种方式可以提升模型的recall召回率。
•删除全部的全连接层,去掉最后一个池化层,以确保输出的特征图具有更高的分辨率,然后通过缩减网络让图片输入分辨率为416*416,这样最终输出的特征图为13*13;
•DimensionCluster(维度聚类):
相当于考试时你偷看了一眼答案是BADDCDDD,但你不知道是第几道题是这些答案,于是你尽量遇到不会的时候多选D.
这里是基于训练数据的真实框的大小来做的密度的聚类
•AnchorBoxes的宽高纬度通常需要通过精选的先验框来给定,然后通过网络学习转换系数,最终得到准确的boundingbox候选框;如果可以通过维度聚类一开始就给定更具有代表性的boxes维度,那么网络就会更容易预测位置。
•使用K-Means聚类方法来训练boundingboxes;采用IoU作为KMeans聚类的距离公式。

 下图是聚类的不同标准下的平均IOU值

DirectLocationPrediction(直接位置预测):
•在AnchorBoxes中,模型不是特别稳定,原因是:模型的位置预测值为偏移量的值(在整个图像上的),在模型中相当于anchor可以检测很远目标的box的情况,范围太大,反向传播的就会很慢,这样就会导致模型收敛比较慢。
•YOLOv2中不采用直接的offset方法,使用了预测相对于grid  cell的坐标位置的方法,并且将ground truth通过logistic函数限制在0~1之间,这样的范围更小,有利于反向传播的速度,。
•通过DimensionCluster+DirectLocationPrediction的改进,mAP提升5%。
 具体做法如下:

  其沿用了Faster RCNN中Anchor box(锚点框)的思想,通过kmeans方法在VOC数据集(COCO数据集)上对检测物体的宽高进行了聚类分析,得出了5个聚类中心,因此选取5个anchor的宽高: (聚类时衡量指标distance = 1-IOU(bbox, cluster))

COCO: (0.57273, 0.677385), (1.87446, 2.06253), (3.33843, 5.47434), (7.88282, 3.52778), (9.77052, 9.16828)
VOC: (1.3221, 1.73145), (3.19275, 4.00944), (5.05587, 8.09892), (9.47112, 4.84053), (11.2364, 10.0071)

  这样每个grid cell将对应5个不同宽高的anchor, 如下图所示:(上面给出的宽高是相对于grid cell,对应的实际宽高还需要乘以32(2的5次方),因为这里给出的原图大小是416*416大小的,经过卷积啊池化啊下采样了5次后变成了13*13大小的)

关于预测的bbox的计算:(416*416-------13*13 为例),卷积池化等经历了5次下采样,缩小了2的5次方倍(看下面这三段话的时候,记得看此行往上数第9到12行字,相信你会明白的)

    (1) 输入图片尺寸为416*416, 最后输出结果为13*13*125,这里的125指5*(5 + 20),5表示5个anchor,25表示[x, y, w, h, confidence ] + 20 class ),即每一个anchor预测一组值。

    (2) 对于每一anchor预测的25个值, x, y是相对于该grid cell左上角的偏移值,需要通过logistic函数将其处理到0-1之间。如13*13大小的grid,对于index为(6, 6)的cell,预测的x, y通过logistic计算为xoffset, yoffset,   则对应的实际x = 6 + xoffset,   y = 6+yoffset, 由于0<xoffset<1, 0<yoffset<1, 预测的实际x, y总是在(6,6)的cell内。对于预测的w, h是相对于anchor的宽高,还需乘以anchor的(w, h), 就得到相应的宽高

     (3) 由于上述尺度是在13*13下的,需要还原为实际的图片对应大小,还需乘以缩放倍数32

Fine-GrainedFeatures(细粒度特征):
•在FasterR-CNN和SSD中,通过不同的方式获得了多尺度的适应性,FasterR-CNN中使用不同的scale,SSD直接从不同大小的featuremap上来提取ROI区域;为了提升对小尺度物体的检测,在YOLOv2中加入了转移层(passthroughlayer),这个层次的功能就是将浅层特征图(26*26*256)连接到深层特征图(13*13*512)中,类似ResNet的残差网络结构。
•对于26*26*512的特征图按行、按列隔一个进行采样,产生4个13*13*512维度的新特征图,然后concat合并得到13*13*2048的特征图,最后将其连接到深层特征图上。相当于做了特征融合,对于小目标检测比较有效。
•通过这种结构,mAP提升了1%。
 即如下图这样提取特征,范围更大,最后再融合到一起
Multi-ScaleTraining:
•由于YOLOv2中仅存在卷积层和池化层,所以可以进行动态调整,每经过10个epoch,随机选择新的图片尺寸进行训练。由于YOLOv2中降采样的参数为32,所以以32个像素为增量值设置不同大小的图像来进行训练,最小尺寸320,最大尺寸608,尺寸可选值{320,352,....,608}总共十个不同尺寸的的图像。
•这种设计让YOLO在低性能的GPU、高帧率视频等场景的应用更加适合。
 下面是一个对比,YOLO V2的map在高分辨率时最高,40帧率也满足实时性的要求
Faster:
  为了改善YOLO模型的检测速度,YOLOv2在Faster方面也做了一些改进。
•大多数神经网络依赖于VGGNet来提取特征,VGG-16特征提取功能是非常强大的,但是复杂度有点高,对于224*224的图像,前向计算高达306.9亿次浮点数运算。
YOLOv2中使用基于GoogleNet的定制网络DarkNet,一次前向传播仅需要85.2亿次浮点数计算。精度相比来降低2%(88%/90%)
DarkNet-19:
 •大量使用3*3的卷积;
•在3*3卷积前使用1*1卷积来压缩通道;
•在每一个卷积后加入BN,稳定模型;
•使用GlobalAveragePooling;
•使用MaxPooling。
 模型训练细节:
•分类模型训练;使用下列参数及数据处理方式,将Darknet-19在标准的1000类ImageNet上训练160epoch;
•随机梯度下降
•startinglearningrate:0.1,初始学习率
•polynomialratedecay:4,线性的学习率下降
•weightdecay:0.0005,权重衰减的质数,权重的偏移,移动平均数形式
•momentum:0.9  动量
•输入数据大小:224*224
•数据增强:randomcrops(随机裁剪)、rotations(旋转)、hue/saturation/exposureshifts(调整色度).
 分类模型训练:
当初始224*244的训练完成后(160epochs)
进行更高分辨率下的图像分类训练(训练10epochs):•learning_rate:0.001  •输入数据大小:448*448
目标检测网络的训练:
将分类网络的最后一个卷积层去掉,更改为三个3*3*1024的卷积层,并且每个卷积层后跟一个1*1的卷积层,输出维度为检测需要的数目;比如在VOC数据集中,需要预测5个框,每个框4个坐标值(偏移值)+1个置信度+20个类别概率值,也就是输出为125维。同时将转移层(passthroughlayer)从倒数第二层做一个连接的操作。
•训练方式以及Loss的定义和YOLOv1类似。
 
YOLO V3
 
 先来观摩一下效果和速度的对比,如下图

 

 

YOLOv3对YOLOv1和YOLOv2的内容既有保留又有改进,其保留的内容如下
•从YOLOv1开始,YOLO算法都是通过划分单元格的方式来检测的,只是划分的数量不一样;
•全部都是采用LeakyReLU激活函数;
•采用端到端的训练;
•从YOLOv2开始,将BN和LeakyReLU放到每一个卷积层之后;
•从YOLOv2开始,多尺度训练,在速度和准确率之间tradeoff。
•从YOLOv2开始,位置信息的预测全部是预测相对于gridcell的位置信息。
 
在YOLOv3中借鉴了大量其它网络结构的优点,其主要改进如下:
•1.YOLOv3的改进主要是backbone网络的提升,从v2的darknet-19到v3的deaknet-53。在v3中,还提供了轻量高速的网络tiny-darknet;
•2.借鉴FPN(特征金字塔)在不同scala的featuremap上提取特征信息,然后做融合。相比于v2中仅仅通过多尺度图像的训练来讲,v3对于小目标的检测效果更好;
•3.AnchorBoxes数目从v2中的5个提升到v3中的9个;
52*52大小的特征图上:10x13,16x30,33x23。26*26大小的特征图上 30x61,64x45,59x119  13*13大小的特征图上:116x90,156x198,373x326
•4.采用Logistic分类器替换Softmax分类器;因为softmax做分类器的话,它一次只能分一个类别,无法针对一个单元格有多个物体,所以换成了logistic
•5.Loss损失函数进行了改进;
 

 yolo v3在保证实施率(fps>36)的情况下,尽量追求性能,下面是几个主干网络的对比

 

 darknet为论文中使用的,效果不错,resnet在top5的准确率上和darknet一致。但是实时性略差,毕竟它本质是用来分类的网络,若用于目标检测还需要修改修改

下图是特征金字塔的结构与其他几种结构的对比图

 

 下面是yolo v3的具体结构,其中特征金字塔部分参照上图看,就能明白

来看一下损失函数吧,采用了类似YOLOv1的损失函数,其主要更改的地方是将v1中关于confidence和class类别概率部分的损失函数更改为logistic交叉熵损失函数(tf.nn.sigmoid_cross_entropy_with_logits)。

 

 

训练操作类似YOLOv1和v2,主要特点如下:

•网络结构darknet;

•输入数据完整图像,不进行hardnegativemining(难负样本的挖掘,当然,我们自己实现代码的时候可以做)或者其它操作;

•多尺度训练multiscale;

•数据增强dataaugmentation;

•批归一化batchnormalization; 

 来看一下效果对比:虽然如此,但是工业界仍然使用SSD和YOLO,因为综合考虑性能和速度。

 

 致此完毕全部内容,我求求你们关注我好不好,很不容易的,一个人打两份工,晚上还要给别人织毛衣......

 

 

 
 
 
posted @ 2020-02-27 22:34  淇则有岸  阅读(3287)  评论(0编辑  收藏  举报