引言

之前学习了 R-CNN 和 SPPNet，这里做一下回顾和补充。

问题

R-CNN 需要对输入进行resize变换，在对大量 ROI 进行特征提取时，需要进行卷积计算，而且由于 ROI 存在重复区域，所以特征提取存在大量的重复计算；

SPPNet 针对 R-CNN 进行了改进，其利用空间金字塔池化来解决形变问题，并且只计算一次卷积得到特征图，ROI 的特征从该特征图的对应区域提取；

但是两者采用相同的计算框架，非常繁琐，特别是需要训练SVM分类器，拟合检测框回归，这两步不仅需要分步进行，使得模型变得复杂，而且需要缓存大量的训练样本，占用巨大的存储空间。

补充

ROI：region proposal，给定一张image找出objects可能存在的所有位置。输出大量objects可能位置的 bounding box，这些bbox称之为 region proposal 或者 regions of interest (ROI)。

mAP：mean Average Precision, 即各类别AP的平均值，AP表示PR曲线下面积

 

fast r-cnn 借鉴了 SPPNet 的思路，对 R-CNN 算法做了进一步的优化。

本文不仅阐述了 fast r-cnn 的原理，也对这三种算法进行比较分析。

 

Fast R-CNN详解

同样训练和测试分开讲解。

训练过程

1. 有监督预训练

基本同R-CNN

样本来源
正样本 ILSVRC 20XX
负样本 ILSVRC 20XX

 

 

 

 

作者实验了3个网络：

第一个是 CaffeNet，实质上是 AlexNet，称之为S，即小模型；

第二个是 VGG_CNN_M_1024，其深度和AlexNet一样，但是更宽，称之为M，即中等模型；

第三个是 VGG16，称之为L，即大模型。

 

2. 特定样本下的微调

样本比例来源
正样本 25% 与某类Ground Truth相交IoU∈[0.5,1]的候选框
负样本 75% 与20类Ground Truth相交IoU中最大值∈[0.1,0.5）的候选框

 

 

 

 

在实际训练中，每个mini-batch包含2张图片和128个ROI，从正样本中挑选约25%，然后采用随机水平翻转进行数据增强；

从负样本中挑选约75%　　【正负样本定义见上表】

 

与R-CNN的区别：

a. 使用了数据增强：50%概率水平翻转

b. R-CNN 使用与第一步相同的网络；Fast R-CNN 需要对第一步的网络做如下修改：

以VGG16为例

1. 将最后的 maxpooling 替换成 ROI池化层，目的是接受不同尺寸的输入；

2. 将最后一个全连接层和softmax层替换成两个并行层，第一个并行层是全连接层和softmax层，softmax有1000变为21，第二个并行层是全连接层和候选区域边框回归层；

3. 输入由 一系列图像 变成 一系列图像和这些图像的候选区域

图示如下

 

================ 扩展 ================

ROI Pooling

由于ROI的尺寸不一，无法直接输入全连接层，ROI pooling 就是把ROI的特征池化成一个固定大小的feature map。

具体操作为：假设ROI需要池化成 H x W 的feature map，H W 是个超参数，根据选用网络确定，假设ROI特征图尺寸为 h x w，那么池化野的大小约为 h/H x w/W，即把RIO特征图分成 H x W 份，然后对每一份进行maxpooling。

ROI 特征图有四个参数(r,c,h,w)，r、c代表左上角坐标，h、w代表高和宽。

 

vs SPPNet

ROI的作用类似于SPPNet的SPP层

 SPPNet进行多尺度学习，其mAP会高一点，不过计算量成倍增加，主要是全连接参数增多；

单尺度训练的效果更好。

 

哪些参数需要微调

SPPNet 论文中采用 ZFnet【AlexNet的改进版】这样的小网络，微调阶段仅对全连接层进行了微调，就足以保证较高的精度；

在 Fast R-CNN 中，作者试验了VGG16这样的大网络，若仅做全连接的微调，其mAP会从66.9%下降到61.4%，所以作者也对ROI池化层之前的卷积层进行了微调：

所有的卷积层都需要微调吗？作者进行了实验

对于VGG16，仅需要对conv3_1及以后的卷积进行微调，才使得 mAP、训练速度、训练时GPU占用显存三者得以权衡；

对于AlexNet、VGG_CNN_M_1024，需要从conv2往后微调。

 

为什么SPPNet 只能更新SPP之后的全连接层，而无法更新前面的卷积层

注意上面讲到SPPNet仅仅更新了全连接层，需要注意的是它只能更新全连接层，无法更新卷积层，为什么呢？

两种解释：

1. SPPNet 的微调阶段卷积计算是离线的，网络训练就像普通的神经网络一样，只是接受了计算好的特征，反向传播而已

2. SPP层求导几乎无法实现，参照下面的 ROI pooling 求导

 

SGD训练方式的优化

在R-CNN和SPPNet中采用 RoI-centric sampling，网络输入整张图像，然后从每张图像中获取一个ROI，这样在SGD的mini-batch中包含了不同图像的ROI，不同图像之间来回切换，无法共享卷积计算和内存，运算开销很大；

Fast R-CNN采用 image-centric sampling，mini-batch采用层次采样，首先选取N张图片，然后在每张图片选取R/N个ROIS，来自同一张图片的ROI在前向计算和反向传播中共享计算和内存，大大提高了效率。

据作者实验，当N=2，R=128时，这种方法能快64倍。

 

这种策略可能会减缓训练的收敛，因为同一张图像的ROI可能存在相关性，但实践中这种担忧并未发生。

 

SGD超参数

除了修改增加的层，原有的层参数已经通过预训练方式初始化；

用于分类的全连接层以均值为0、标准差为0.01的高斯分布初始化，用于回归的全连接层以均值为0、标准差为0.001的高斯分布初始化，偏置都初始化为0；

针对PASCAL VOC 2007和2012训练集，前30k次迭代全局 learning rate为0.001，每层权重学习率为1倍，偏置学习率为2倍，后10k次迭代全局学习率更新为0.0001；

动量momentum设置为0.9，权重衰减weight_decay设置为0.0005。

 

多任务损失

一个网络包含两个并行的全连接　　

两个输出层

cls_score：图像识别层，输出为 每个ROI 在每个类别上的概率，长度为 k+1 的向量，p=(p0,…,pk)

bbox_predict：边框回归层，用来调整候选区域的标记位置，输出为 tu=(tx,ty,tw,th)，x、y表示相对于object proposal 的平移，w、h表示log空间中相对于object proposal 的宽高。

k个类别，每个类别都有这样一个输出，故输出shape为 kx4。

 

假设u为ROI的真实类别，v为ROI的真实标记 ground truth，则

loss_cls 层评估分类代价，损失函数用 log 损失，即 Lcls(p,u)=-log(pu)　　【R-CNN和SPPNet也采用这个损失函数】

loss_bbox 层评价回归损失代价，比较真实类别u对应的预测bbox标记  tu=(tx,ty,tw,th) 与 ground truth v=(vx,vy,vw,vh)之间的差距

smoothL1曲线如图所示，相对于L2，其对异常值不敏感，可控制梯度的量级使得训练时不易跑飞，梯度爆炸

 

总的损失为

当u>1时为1

当u=0时为0，上式为 Lcls(p,u)，表示只有分类误差，u=0是表示ROI为背景，此时只需识别为背景，无需进行bbox

λ控制分类损失和回归损失的权重，作者所用 λ=1

 

ROI pooling 的反向传播

先看看普通 max pooling 如何求导

设xi为输入层节点，yj为输出层节点，损失函数为L，则L对xi的梯度为

判定函数 δ(i,j) 表示输入节点i是否被输出节点j选为最大值输出。

若被选中，则δ(i,j)=ture，其导数为

若没选中，则δ(i,j)=false，有两种可能，一是池化野没有扫描到该节点，二是扫描到了但非最大值，彼此没关系，导数为0

 

图示如下

 

ROI pooling 求导

与maxpooling不同的是，ROI有重合区域，设xi为输入层节点，yrj为输出层节点，表示第r个候选区域的第j个输出节点，一个输入层节点对应多个输出层节点。

如图，输入节点7为重合部分，对应两个候选区域

 

此时节点7的梯度为分别求梯度，相加

 

公式为

 

 

判定函数 [i=i*(r,j)] 表示 输入层节点i是否被第r个候选区域第j个输出层节点选为最大值输出。

 

测试过程

1. 输入任意size的图片，卷积池化，得到特征图

2. 在图片上采用 Selective Search 得到2000个建议框

3. 根据建议框在图片中的位置找到对应的特征图中的特征框，并将该特征框 通过 ROI pooling 得到固定大小的特征

4. 将第3步中的特征经过第一个全连接，得到新特征

5. 将第4步中的特征经由各自的全连接层，由SVD实现，得到两个输出：softmax分类得分，bbox边框回归

6. 利用边框得分分别对每一类物体进行非极大值抑制剔除重复建议框，最终得到每个类别中得分最高的边框

 

================ 扩展 ================

为什么要用SVD

图像分类任务中，卷积的时间要大于全连接的时间，而Fast RCNN 中，卷积的时间小于全连接，因为只卷积一次，全连接2000次。

假设全连接的输入为x，权重矩阵为W，尺寸为u x v，那全连接就是 y=Wx，

若将W进行SVD分解，取前t个特征值，即

实验表明，SVD使得mAP下降0.3%，速度却提升30%

 

 

 

 总结

 一幅图概况Fast RCNN

 

 

之前讲到的RCNN、SPPNet、Fast RCNN 都是目标检测算法的过去时，都或多或少有问题，基本已经没人用了，所以不必过分探究所有细节，接下来要讲的方法是目标检测比较主流的方法，如 Faster RCNN， yolo等

 

 

 

参考资料：

https://blog.csdn.net/WoPawn/article/details/52463853

https://blog.csdn.net/ibunny/article/details/79397486

https://alvinzhu.xyz/2017/10/10/fast-r-cnn　　论文翻译

https://blog.csdn.net/u014380165/article/details/72851319

https://github.com/rbgirshick/fast-rcnn