引言

之前学习了 R-CNN 和 SPPNet,这里做一下回顾和补充。

问题

R-CNN 需要对输入进行resize变换,在对大量 ROI 进行特征提取时,需要进行卷积计算,而且由于 ROI 存在重复区域,所以特征提取存在大量的重复计算;

SPPNet 针对 R-CNN 进行了改进,其利用空间金字塔池化来解决形变问题,并且只计算一次卷积得到特征图,ROI 的特征从该特征图的对应区域提取;

但是两者采用相同的计算框架,非常繁琐,特别是需要训练SVM分类器,拟合检测框回归,这两步不仅需要分步进行,使得模型变得复杂,而且需要缓存大量的训练样本,占用巨大的存储空间。

补充

ROI:region proposal,给定一张image找出objects可能存在的所有位置。输出大量objects可能位置的 bounding box,这些bbox称之为 region proposal 或者 regions of interest (ROI)。

mAP:mean Average Precision, 即各类别AP的平均值,AP表示PR曲线下面积

 

fast r-cnn 借鉴了 SPPNet 的思路,对 R-CNN 算法做了进一步的优化。

本文不仅阐述了 fast r-cnn 的原理,也对这三种算法进行比较分析。

 

Fast R-CNN详解

同样训练和测试分开讲解。

训练过程

1. 有监督预训练

基本同R-CNN

样本来源
正样本 ILSVRC 20XX
负样本 ILSVRC 20XX

 

 

 

 

作者实验了3个网络:

第一个是 CaffeNet,实质上是 AlexNet,称之为S,即小模型;

第二个是 VGG_CNN_M_1024,其深度和AlexNet一样,但是更宽,称之为M,即中等模型;

第三个是 VGG16,称之为L,即大模型。

 

2. 特定样本下的微调

样本比例来源
正样本 25% 与某类Ground Truth相交IoU∈[0.5,1]的候选框
负样本 75% 与20类Ground Truth相交IoU中最大值∈[0.1,0.5)的候选框

 

 

 

 

在实际训练中,每个mini-batch包含2张图片和128个ROI,从正样本中挑选约25%,然后采用随机水平翻转进行数据增强;

从负样本中挑选约75%  【正负样本定义见上表】

 

与R-CNN的区别

a. 使用了数据增强:50%概率水平翻转

b. R-CNN 使用与第一步相同的网络;Fast R-CNN 需要对第一步的网络做如下修改:

以VGG16为例

1. 将最后的 maxpooling 替换成 ROI池化层,目的是接受不同尺寸的输入;

2. 将最后一个全连接层和softmax层替换成两个并行层,第一个并行层是全连接层和softmax层,softmax有1000变为21,第二个并行层是全连接层和候选区域边框回归层;

3. 输入由 一系列图像 变成 一系列图像和这些图像的候选区域

图示如下

 

================ 扩展 ================

ROI Pooling

由于ROI的尺寸不一,无法直接输入全连接层,ROI pooling 就是把ROI的特征池化成一个固定大小的feature map。

具体操作为:假设ROI需要池化成 H x W 的feature map,H W 是个超参数,根据选用网络确定,假设ROI特征图尺寸为 h x w,那么池化野的大小约为 h/H x w/W,即把RIO特征图分成 H x W 份,然后对每一份进行maxpooling。

ROI 特征图有四个参数(r,c,h,w),r、c代表左上角坐标,h、w代表高和宽。

 

vs SPPNet

ROI的作用类似于SPPNet的SPP层

 SPPNet进行多尺度学习,其mAP会高一点,不过计算量成倍增加,主要是全连接参数增多;

单尺度训练的效果更好。

 

哪些参数需要微调

SPPNet 论文中采用 ZFnet【AlexNet的改进版】这样的小网络,微调阶段仅对全连接层进行了微调,就足以保证较高的精度;

在 Fast R-CNN 中,作者试验了VGG16这样的大网络,若仅做全连接的微调,其mAP会从66.9%下降到61.4%,所以作者也对ROI池化层之前的卷积层进行了微调:

所有的卷积层都需要微调吗?作者进行了实验

对于VGG16,仅需要对conv3_1及以后的卷积进行微调,才使得 mAP、训练速度、训练时GPU占用显存三者得以权衡;

对于AlexNet、VGG_CNN_M_1024,需要从conv2往后微调。

 

为什么SPPNet 只能更新SPP之后的全连接层,而无法更新前面的卷积层

注意上面讲到SPPNet仅仅更新了全连接层,需要注意的是它只能更新全连接层,无法更新卷积层,为什么呢?

两种解释:

1. SPPNet 的微调阶段卷积计算是离线的,网络训练就像普通的神经网络一样,只是接受了计算好的特征,反向传播而已

2. SPP层求导几乎无法实现,参照下面的 ROI pooling 求导

 

SGD训练方式的优化

在R-CNN和SPPNet中采用 RoI-centric sampling,网络输入整张图像,然后从每张图像中获取一个ROI,这样在SGD的mini-batch中包含了不同图像的ROI,不同图像之间来回切换,无法共享卷积计算和内存,运算开销很大;

Fast R-CNN采用 image-centric sampling,mini-batch采用层次采样,首先选取N张图片,然后在每张图片选取R/N个ROIS,来自同一张图片的ROI在前向计算和反向传播中共享计算和内存,大大提高了效率。

据作者实验,当N=2,R=128时,这种方法能快64倍。

 

这种策略可能会减缓训练的收敛,因为同一张图像的ROI可能存在相关性,但实践中这种担忧并未发生。

 

SGD超参数

除了修改增加的层,原有的层参数已经通过预训练方式初始化;

用于分类的全连接层以均值为0、标准差为0.01的高斯分布初始化,用于回归的全连接层以均值为0、标准差为0.001的高斯分布初始化,偏置都初始化为0;

针对PASCAL VOC 2007和2012训练集,前30k次迭代全局 learning rate为0.001,每层权重学习率为1倍,偏置学习率为2倍,后10k次迭代全局学习率更新为0.0001;

动量momentum设置为0.9,权重衰减weight_decay设置为0.0005。

 

多任务损失

一个网络包含两个并行的全连接  

两个输出层

cls_score:图像识别层,输出为 每个ROI 在每个类别上的概率,长度为 k+1 的向量,p=(p0,,pk)

bbox_predict:边框回归层,用来调整候选区域的标记位置,输出为 tu=(tx,ty,tw,th),x、y表示相对于object proposal 的平移,w、h表示log空间中相对于object proposal 的宽高。

k个类别,每个类别都有这样一个输出,故输出shape为 kx4。

 

假设u为ROI的真实类别,v为ROI的真实标记 ground truth,则

loss_cls 层评估分类代价,损失函数用 log 损失,即 Lcls(p,u)=-log(pu)  【R-CNN和SPPNet也采用这个损失函数】

loss_bbox 层评价回归损失代价,比较真实类别u对应的预测bbox标记  tu=(tx,ty,tw,th) 与 ground truth v=(vx,vy,vw,vh)之间的差距

smoothL1曲线如图所示,相对于L2,其对异常值不敏感,可控制梯度的量级使得训练时不易跑飞,梯度爆炸

 

总的损失为

当u>1时为1

当u=0时为0,上式为 Lcls(p,u),表示只有分类误差,u=0是表示ROI为背景,此时只需识别为背景,无需进行bbox

λ控制分类损失和回归损失的权重,作者所用 λ=1

 

ROI pooling 的反向传播

先看看普通 max pooling 如何求导

设xi为输入层节点,yj为输出层节点,损失函数为L,则L对xi的梯度为

判定函数 δ(i,j) 表示输入节点i是否被输出节点j选为最大值输出。

若被选中,则δ(i,j)=ture,其导数为

若没选中,则δ(i,j)=false,有两种可能,一是池化野没有扫描到该节点,二是扫描到了但非最大值,彼此没关系,导数为0

 

图示如下

 

ROI pooling 求导

与maxpooling不同的是,ROI有重合区域,设xi为输入层节点,yrj为输出层节点,表示第r个候选区域的第j个输出节点,一个输入层节点对应多个输出层节点。

如图,输入节点7为重合部分,对应两个候选区域

 

此时节点7的梯度为分别求梯度,相加

 

公式为

 

 

判定函数 [i=i*(r,j)] 表示 输入层节点i是否被第r个候选区域第j个输出层节点选为最大值输出。

 

测试过程

1. 输入任意size的图片,卷积池化,得到特征图

2. 在图片上采用 Selective Search 得到2000个建议框

3. 根据建议框在图片中的位置找到对应的特征图中的特征框,并将该特征框 通过 ROI pooling 得到固定大小的特征

4. 将第3步中的特征经过第一个全连接,得到新特征

5. 将第4步中的特征经由各自的全连接层,由SVD实现,得到两个输出:softmax分类得分,bbox边框回归

6. 利用边框得分分别对每一类物体进行非极大值抑制剔除重复建议框,最终得到每个类别中得分最高的边框

 

================ 扩展 ================

为什么要用SVD

图像分类任务中,卷积的时间要大于全连接的时间,而Fast RCNN 中,卷积的时间小于全连接,因为只卷积一次,全连接2000次。

假设全连接的输入为x,权重矩阵为W,尺寸为u x v,那全连接就是 y=Wx,

若将W进行SVD分解,取前t个特征值,即

实验表明,SVD使得mAP下降0.3%,速度却提升30%

 

 

 

 总结

 一幅图概况Fast RCNN

 

 

之前讲到的RCNN、SPPNet、Fast RCNN 都是目标检测算法的过去时,都或多或少有问题,基本已经没人用了,所以不必过分探究所有细节,接下来要讲的方法是目标检测比较主流的方法,如 Faster RCNN, yolo等

 

 

 

参考资料:

https://blog.csdn.net/WoPawn/article/details/52463853

https://blog.csdn.net/ibunny/article/details/79397486

https://alvinzhu.xyz/2017/10/10/fast-r-cnn  论文翻译

https://blog.csdn.net/u014380165/article/details/72851319

https://github.com/rbgirshick/fast-rcnn