图像算法，实习面试（2）——YSKJ（2）：介绍一下FasterRCNN系列？

一、问题：

　　介绍一下FasterRCNN, 以及每一代的改进？

二、答案（总结）：

　　1、 Faster-RCNN系列总共三个：分为RCNN, Fast-RCNN, Faster-RCNN;

　　2、RCNN主要方法是：

 

　　　　1）首先，使用SS算法（图像处理算法：Selective search算法）在原图上自上而下提取出2000多个框图，即Region Proposal；

　　　　2）然后，将这2000多张Region Proposal分别进行缩放，统一缩放至227*227，然后输入CNN，并将CNN的fc7层的输出作为特征；

　　　　3）接着，将每个Region Proposal提取的CNN特征输入到SVM进行分类；

　　　　4）最后，对于SVM分好类的Region Proposal做边框回归，用Bounding box回归矫正原来的建议窗口，生成预测窗口坐标；

　　　   5）缺点：1、步骤繁琐，需要先训练SVM分类器、网络参数要细调，两阶段回归；2、每一个region proposal都要分别输入CNN提取特征，重复提取，内存占用以及耗时；

 

　　　　Fast-RCNN主要方法是：（目的：给RCNN加速,一起输出bdx, label)

　　　　1）首先，使用SS算法在图像中从上到下提取2000个左右的建议窗口（Rigeon proposal）；

　　　　2）然后，将整张图片输入CNN，进行特征提取；

　　　　3）将建议窗口映射到CNN的最后一层卷积feature map上；

　　　　4）通过ROI pooling层，使每个建议窗口生成固定尺寸的feature map;

　　　　5）利用Softmax Loss(探测分类概率) 和 Smooth L1 Loss（探测边框回归）对分类概率和边框回归（bounding box regression）联合训练。

　　　　6）改进：1、不需要SVM了，解决了多阶段训练问题。2、使用ROI pooling来保持多尺度输入。3、多阶段变成多任务。

　　　　　  缺点：仍然使用SS算法，耗费时间；且SS算法并未发挥ROI pooling的作用。

 

　　 　 Faster-RCNN主要方法是(拒绝ss算法)：

 

　　　　1）首先，将整张图片输入CNN，进行特征提取；

　　　　2）然后，对于提取的特征，用RPN生成一堆Anchor box, 对其进行裁剪过滤后：

　　　　　　i. 通过softmax进行二分类，判断anchors box中是属于物体还是背景;

　　　　　　ii. 同时，在另外一个bounding box regression修正anchor box, 形成较为准确的proposal；

　　　　3）把proposal映射到CNN的最后一层卷积feature map上；

　　　　4）通过ROI pooling层使每个RoI生成固定尺寸的feature map;

　　　　5）利用Softmax Loss(探测分类概率) 和 Smooth L1 Loss（探测边框回归）对分类概率和边框回归（bounding box regression）联合训练。

　　　　6）改进：1、使用RPN网络代替SS算法去生成候选框；

　　　　　　　　  2、end to end;

 

三、其他：

　　1、Selective search算法：原论文

　　Selective Search: 选择性搜索适用于目标检测的区域提议算法。

                                    主要包含：Hierarchical Grouping Algorithm、Diversification Strategies

       1） Hierarchical Grouping Algorithm: （这里我没看到的是如何初始化初试区域 ）

             步骤：1‘ 计算所有邻近区域之间的相似性；

                        2’ 两个最相似的区域被组合在一起；

                        3‘ 计算合并区域和相邻区域的相似度；

                        4’ 重复2、3过程，直到整个图象变成一个区域。

                        5‘ 每次迭代过程中，形成的区域添加到区域proposal list中。

       2)   Diversification Strategies:

                       这里主要是相似度量对象：主要有颜色相似度、纹理相似度、尺度相似度、形状重合度等；

       2、SVM分类器；

　　3、。。。。。。待补充。。。。。。。

　　　　

　　

参考：

https://zhuanlan.zhihu.com/p/39927488