r-cnn学习（二）
faster r-cnn
1、问题
在fast r-cnn中，proposals已经成为速度提高的瓶颈。在本文中，使用深度网络来计算proposals，
使得与检测网络的计算量相比，proposals的计算量可忽略不计。为此，本文提出了RPN网络（Region Proposal Network），
与目标检测网络共享卷积层，大大减少了计算proposals的时间。
2、方案
在fast r-cnn中，region-based detectors可以使用卷积特征图，那么这些特征图也可以用来生成region proposals。
在这些卷积特征上，通过增加两个卷积层来构造RPN：一个将每个位置的卷积图编码成短的特征向量，另一个在每个卷积图的位
置上，输出objectness score和k个region proposals的regression bounds。
因此，本文的RPN可以看作是fully-convolutional network (FCN)，对于生成detecting proposals这种任务，是
end-to-end的。为了使RPN和fast r-cnn相统一，我们提出了一个简单的训练框架，在region proposal task和object detection
的微调中依次交替（保持proposals固定）。
小结：设计RPN,利用卷积特征图生成region proposals（而不是selective search等），提升了速度；训练RPN和fast r-cnn（检测网络）
共享卷积层，提高检测速度。
上图为[1]博友给出的faster r-cnn的网络结构图，非常清晰，包括fast r-cnn+RPN网络。原博认为不是
所有卷积层都参与共享。其流程为：
（1）向CNN网络（ZF或VGG-16）中输入任意大小的图片；
（2）经前向传播至最后共享卷积层，一方面成为RPN的输入特征图，另一方面前向传播至特有卷积层，
产生更高维特征；
（3）供RPN输入的特征图经过RPN网络，得到region proposals和objectness scores。对objectness scores采用
非极大值抑制，输出top-N(文中为300)的region proposals 给RoI池化层。
（4）第2步得到的高维特征图和第3步得到的region proposals同时输入RoI池化层，提取对应region proposals的特征
（5）由第4步得到的region proposals特征图输入全连接层，输出cls scores和regressors bounding-box。
3、具体介绍
Region Proposal Networks
RPN的输入为一张图像，输出为一系列的矩形框（proposals），每一个会带有objectness score。本文使用fcn模型来处理
这个过程。因为我们的目标是与fast r-cnn的检测网络共享计算，因此我们假设这些网络共享卷积层。
为了生成region proposals，在最后一个共享卷积层中，我们对其输出滑动使用小的网络。这个网络与n*n的空间窗口（输入为卷积特征图）
全连接。每个滑动窗口被映射为低维的向量，然后将其输入两个独立的全连接层中，一个是回归层，一个是分类层。
这个小网络是以滑窗的方式操作的，因此全连接层共享所有空间位置。
小结：RPN在CNN输入特征图后，增加滑动窗口操作以及两个卷积层完成region proposals。其中第一个卷积层将特征图的每个滑窗位置
编码成一个特征向量；第二个卷积层对应每个滑窗位置输出k个objectness scores和k个回归后region proposals，同时使用非极大值抑制。
上图为[1]给出的PRN网络流程图，其流程为：
（1）套用ImageNet上常用的图像分类网络（ZF或VGG-16），利用这两种网络的部分卷积层产生原始图像的特征图；
（2）对于（1）中的特征图，用3*3的滑窗滑动扫描，通过1映射为低维的特征向量后采用ReLU。每个滑窗位置对应k
个anchors；
（3）将低维特征向量输入两个并行连接的卷积层2，分别用于回归region proposals产生bounding-box和对是否为前景
或背景打分。
Translation-Invariant Anchors
在每个滑窗位置上，同时预测k个proposals和4k个reg相应的输出，以及2k个cls scores（每个proposal为目标/非目标的概率），这k
个proposals相对k个reference boxes，称为anchors。在每个滑动位置上，使用3个scales和3个aspect ratios，共生成9个anchors。对于
一个W*H的特征图，共有W*H*k个anchors，这种方法的好处就是translation invariant。
Anchors：表示RPN网络中对特征图滑窗时每个滑窗位置所对应的原图区域中9种可能的大小。根据图像大小计算滑窗中心点对应原图区域的
中心点，通过中心点和size就可以得到滑窗位置和原图位置的映射关系，由此原图位置并根据与Ground Truth重复率贴上正负标签，让RPN
学习该Anchors是否有物体即可。
A Loss Function for Learning Region Proposals
为了训练RPN，为每个anchor赋一个类别标签（是否是object）。我们为两类anchors赋于正值：（1）anchor与ground_truth box有最大的
IoU重叠；（2）IoU重叠超过0.7。 IoU小于0.3则为negative。损失函数定义如下：
其中i为一个mini batch的一个anchor的索引，pi预测某anchor i是目标的概率，带星号表示相应的标签。
此外，本文采用的bounding-box regression与之前的基于特征图的方式不同。在fast r-cnn中，bounding-box regression是在任意大小的区域上
，经过pool后的特征上进行的，所有大小的区域上的回归权重是共享的。在本文中，用于regression的特征在特征图上有着共同的空间大小。
为了处理不同尺寸，需要学习k个bounding-box regressors，每个regressors对应一个scale和一个aspect ratio，并且k个回归器不共享权重。
bounding-box regression的理解
回归公式如下：
x,y,w,h分别表示窗口中心位置和宽、高。x,xa,x*分别表示预测窗口、anchor窗口和ground truth的坐标，这可以认为是从anchor窗口到ground truth
的bounding-box回归。
Optimization
RPN由FCN实现，可通过end-to-end的BP算法和SGD进行训练。采用image-centric的采样方法训练网络，每个mini-batch从单张图像中获得，包含
正、负anchors。可以将所有的anchors loss放在一起训练，但这样会偏向于负anchors（负类鑫）。本文在一张图上随机采样256个anchors来计算一个
mini-batch的损失函数，正、负anchors的比例为1：1.
Sharing Convolutional Features for Region Proposal and Object Detection
至此我们已经描述了如何训练一个region proposal generation的网络，但没有考虑region-based 的目标检测CNN将利用这些proposals。采用fast r-cnn
的检测网络，接下来将描述一个学习卷积层的算法，这个卷积层被RPN和fast r-cnn共享。
RPN和fast r-cnn的训练时独立的，通过不同的方式来修改它们的卷积层。因此我们需要提出一个技术，考虑在两个网络间共享卷积层，而不是独立的两个网
络。注意这不是仅仅简单定义一个包括RPN和fast r-cnn的网络，然后用BP算法联合优化。原因是fast r-cnn依赖于固定大小的object proposals，这是一个不清楚
的先验，如果学习fast r-cnn同时改变proposals的机制是否收敛。
本文通过交替优化，采用4步训练算法来学习共享特征：
第一步，按照上述方式训练RPN，这个网络由ImageNet预训练模式初始化，对region proposal task采用end-to-end微调。
第二步，使用fast r-cnn训练独立的检测网络，使用第一步中生成的proposals。它的初始化也是用ImageNet预训练模式，此时两个
网络不共享卷积特征。
第三步，使用（2）中微调后的fast r-cnn检测网络重新初始化RPN网络，但固定共享卷积层（学习率为0，不更新），只对RPN进行微调（共享卷积层）。
第四步，保持（3）中共享卷积层固定，由（3）中得到的region proposals微调fast r-cnn中的fc layers，至此形成一个统一的网络，如下图所示。
RPN和faster r-cnn联合训练。
Implementation Details
我们训练和测试region proposal和目标检测网络在单一尺度的图像上，re-scale图像让短边为600像素。
网上关于Faster R-CNN中三种尺度解释：
原始尺度：原始输入的大小，不受任何限制，不影响性能；
归一化尺度：输入特征提取网络的大小，在测试时设置，源码中opts.test_scale=600。anchor在这个尺度上设定，
这个参数和anchor的相对大小决定了想要检测的目标范围；
网络输入尺度：输入特征检测网络的大小，在训练时设置，源码中为224×224。
对于anchors，使用3种尺度（128，256，512），以及3种aspect ratios（1：1，1：2，2：1）。
清理anchors数目：
文中提到对于1000×600的一张图像，大约有20000(~60×40×9)个anchors，忽略超出边界的anchors，
剩下6000个anchors，利用非极大值抑制去掉重叠区域，剩2000个region proposals用于训练； 测试时在2000个区域建议中选择
Top-N（文中为300）个region proposals用于Fast R-CNN检测。
文中的三种共享特征网络的训练方式？
（1） 交替训练
训练RPN，得到的region proposals来训练fast r-cnn进行微调；此时网络用来初始化RPN网络，迭代此过程；
（2） 近似联合训练
合并两个网络进行训练。 前向计算的region proposals被固定以训练fast r-cnn；反向计算到共享卷积层时，RPN
网络损失和fast r-cnn网络损失叠加进行优化，但此时把region proposals当作固定值看待，忽视了fast r-cnn一个输入：
region proposals的导数，则无法更新训练，所以称之为近似联合训练。
（3） 联合训练
需要RoI池化层对区域建议可微，需要RoI变形层实现。
参考[1]：http://blog.csdn.net/WoPawn/article/details/52223282
