R-CNN:

2014,cnn为Alexnet

训练流程:

1)在imagenet上对cnn模型pre-train

2)使用所有ss生成区域对1)进行fine-tune ~softmax改为21维度

ground-truth:标记的真正的框~lou,阈值0.5~32个正样本,96个负样本

3)在2)的F7特征上训练线性svm分类器,正样本和负样本阈值分别为所有ground truth和lou小于0.3的ss区域

注意:输入的正样本U&负样本!所有自己得有定义

4)在2)的最后一个卷加层con5特征上训练bounding box回归模型

注意:每个类别训练一个回归模型,将ss提供的bounding box做重新映射即P->G

    两种输入:原本的P和goundtruthG,

      P对应中心位置(x,y)的px。。ph,G对应宽高尺寸(w,h)的Gx。。Gh,txty对应直角坐标系,twth对应极坐标系~所以有log(Gw/Gh)

  测试阶段:校正量d帮助参数还原时在两种坐标系下用法不一

 

测试阶段:

1)selective search提取~2000区域/图片

2)将所有区域膨胀缩放到227*227

3)使用finetune过的alxenet计算2套特征,f7~svm~类别分值

 --》非极大值抑制,lou》0.5,获取无冗余的区域子集~迭代~获得新候选区域

 --》对新候选区域的con5特征进行bounding box回归~bbox偏差

    --》bbox偏差来修正区域子集

 

缺点:每张图片的~2000区域都会计算cnn特征

SPP-NET:

输入整图,所有区域共享卷积计算~在conv5层输出提取所有区域的特征

SPP空间金字塔池化:

  替换con5的pooling5;一个window(即ss得到的感兴趣区域)内3个level和21个bin~21段定长特征串接后得到增强特征;bin内使用max pooling;

  不同尺寸的区域(ss得到)在conv5输出上提取特征,通过SPP后,映射到尺寸固定的全连接层上(SPP获取定长的特征)~最后一个conv和全连接层之间是全卷积,全尺寸卷积核大小和最后一个全连接层一致

训练阶段:

1)在imagenet上对cnn模型pre-train

2)计算所有ss区域的spp特征 -没有参数训练

3)使用2)特征finetune心得f6~f8层

4)计算3)的f7特征

5)使用4)特征训练svm分类器

6)使用2)特征训练boundingbox回归~boundingbox回归对应的是SPP层不是和r-cnn一样是con5的pool5

 

缺点:

  仍有:特征存储太大;复杂的多阶段训练  训练时间~finetune+特征提取+svm/bbox

  新问题:只能finetue全连接层,共享的图片集运算不可

 

fast rcnn:

实现end-to-end端对端单阶段训练,所以不需要离线存储特征文件~多任务损失函数

所以层都可以finetune

spp-net上的新技术:

  1)ROI感兴趣区域池化层,即单一的spp金字塔池化~可以梯度回传~实现end2end 

    ROI池化层取代alexnet的第五个pooling,输出的特征和sppnet类似,只是更短

    ROI梯度回传:非重叠部分类似maxpooling,重叠部分是多个重合区域的偏导之和

  2)所任务损失函数

    分类器loss:交叉熵+softmax~   -logpi  

    回归:偏差要做高斯归一化;物体类别时有回归loss,背景时无回归loss

训练:因为端对端,所以不需复杂的分阶段训练

  在pre-trained模型上做finetune,初始模型性能最好为vgg

  mini-batch sampling抽样:

    hierarchical sampling分级抽样:

      batch尺寸128(是每个batch中区域的数量不是图片的数量)=每个batch的图片数量2*每个图片的ROI数量64(ss算法得到)  ~为了充分利用卷积层的共享计算,每个图片可以同时共享

      ROI分类基于与goundtruth重叠:物体lou》0.5,背景lou在【0.1,0.5)

准确性:

  端对端训练finetune的层数,fc6《conv3《conv2,finetune层数越多性能提:升越明显

  训练时多阶段/多任务训练,和测试阶段bbox回归的不同组合使用mAP有差异  

 

缺点:ss还是独立的

Fater rcnn:

区域建议也应该有conv5决定,应集成~ RPN网络

faster rcnn=fast rcnn + rpn,取代离线的selective search模块

进一步共享卷积层计算~因为区域建议也是由最后卷积层得到

基于attention机制~引导fast r-cnn关注区域

region proposals量少~300质优高precision高recall

RPN:  

  一种全卷机网络:3*3,256-d卷积层+relu作为conv5下一次,输出的256维特征分别送入以下

          1*1,4k-d卷积层~输出k组proposal的offset(x,y,w,h)

          1*1,2k-d卷积层~输出k组是/否为物体object

          两者的输出共ROI池化层使用

  参考组anchor box,k=9种三种尺寸/比例;中心和卷积核中心一致(如3*3卷积核);anchor的数量w*h*k,每个像素上都有,所有w*h

  PRN需单独训练

loss:预测框、anchor框、ground truth框

  也有指示函数~背景设为0

  一个mini-batch只有一个图片,128正样本(与ground truth lou),128负样本

训练阶段:

  1)训练RPN,IMAGENET上pretrain模型参数-》卷积层初始化

  2)训练fast rcnn网络,IMAGENET上pretrain模型参数-》卷积层初始化,region proposal由1)的RPN生成

  3)调优RPN,fast rcnn的卷积层参数-》卷积层初始化,固定卷积层,finetune剩余层

  4)调优fast rcnn,固定卷积层,finetune剩余层,region proposal由3)得到

  1)2)无卷积层共享

 


基于旧形态的cnn结构:Alexnet、vgg
 特点L:全卷积子网络+全连接自网络,分别特征提取+特征分类
 缺点:例如ROI-wise子网络不含隐含层~检测性能和分类性能不一致~检测网络的变换敏感性和分类网络的变换不变性矛盾
       (卷积层越深,不变性越强,对变换越不敏感,因为后面的卷积层所带的位置信息越来越少)
 
R-FCN区域全卷机神经网络:
 cnn全卷机趋势:resnet、googlenet~只剩1个全连接层
resnet-101 -》 conv91+ROI池化+conv10 ,resnet-101之前三个全连接层相当于前两个是隐藏层,若完全提出全连接层,木有隐藏层~改进,将conv拆解,中间插入ROI、  

 rcnn在检测中出现不适应性 + 应用两难 
 --》R-FCN,适应全卷积化cnn的结构,提出全卷机化设计
 引入变换敏感性
 1)位置敏感分值图,grid位置信息+类别判别
 2)位置敏感池化,无训练参数 ~不需全连接层就可完成分类任务

 实质:还是卷积层,只是通道信息发生了变化
 resnet-101卷积网,pre-trained模型(imagenet),1*1降维(2048-》1024)
 +RPN网~faster rcnn
 +position-sensitive卷积网,池化后投票

位置敏感卷积层:
 指,k平方(C+1)conv,~多个通道对位置、类别组合进行编码~不同的通道对应不同的网格位置和类别
 相对位置:k*k个Grid(k=3)~对应ROI-pooling是3*3网格
 位置敏感分值图:每个分类k*k个score map,score map=图片尺寸~score map是卷积的输出通道,3*3ROI池化指针对该通道,比如浅黄色~每一个颜色对应一个vote的一个bin,vote的通道数是C+1
   vote再做均值池化,得到1*1大小通道数为C+1的特征图 --》softmax得到概率值
 位置敏感ROI池化层:w*h的roi拆分从k*k个w/k*h/k的bin,不同颜色的bin对应不同颜色通道层(score map),bin内做均值池化-》输出k*k*(C+1)
loss:均值投票t:训练时用的anchor~xa和ground truth~x*,测试时用的anchor~xa和预测值x -》回归模型中t和t*即偏差要无限接近
      背景没有回归,标记0
      每个类别一个回归
训练:
      OHEM(online hard example mining):
 一个图片~1个batch~1个gpu ;一个图片~N个proposal~所有区域loss~loss排序~选前B个,包含正/负样本
       fater rcnn的4步训练法:rpn和r-fcn交替训练,r-fcn把fast rcnn升级了
性能:r-fcn中卷积核k*k,1*1《3*3《5*5,因为提取的位置信息越精确

人脸数据集:
 FDDB、IJB-A~指出难检测位置
行人检测数据集:Caltech