Caffe使用step by step:faster-rcnn目标检测matlab代码

faster-rcnn是MSRA在物体检测最新的研究成果,该研究成果基于RCNN,fast rcnn以及SPPnet,对之前目标检测方法进行改进,faster-rcnn项目地址
首先,faster rcnn所使用的caffe版本并不是官方caffe,是Shaoqing Ren自己在官方版本上实现的一个caffe,具体下载地址为:caffe-faster-rcnn地址


另外,在配置caffe时,可以直接把自己已配置成功的makefile.config文件拷贝过去。
由于该版本caffe相对最新的caffe比较旧,因此如果使用opencv 3.0以上版本,需要对Makefile进行修改(实现对OpenCV 3.x的支持)
查找“Derive include and lib directories”一节,修改“LIBRARIES +=”的最后一行,增加opencv_imgcodecs
opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs

保存,退出。
在此基础之上,需要对原本编译成功的caffe的makefile.config文件进行修改,rbg给出了makefile.config修改参考地址:Makefile.config
如果出现错误:
Building with 'g++'.
/home/agruzdev/git/faster_rcnn/external/caffe/matlab/+caffe/private/caffe_.cpp:19:28: fatal error: gpu/mxGPUArray.h: No such file or directory
compilation terminated.

解决地址:解决方案

在Makefile.config文件中加入:

MATLAB_INCLUDE := -I$(MATLAB_DIR)/toolbox/distcomp/gpu/extern/include
MATLAB_LIBS := -lmwgpu

 

提示错误:

Invalid MEX-file caffe_.mexa64': libcudart.so.7.5: cannot open shared object file: No such file or directory

解决方案:

 LD_LIBRARY_PATH路径未配置

sudo gedit ~/.bashrc

在文本最后加入:

export LD_LIBRARY_PATH=/usr/local/cuda-7.0/lib64:/usr/local/lib:$LD_LIBRARY_PATH

对应自己的cuda路径位置

 注:每次需要在新机器上部署fater-rcnn代码时候,最好的方法就是把对应的caffe-fater-rcnn版本重新放在external下面,保留原有的Makefile.config文件,
这样可以最快的部署好faster- rcnn平台。

错误:
[libprotobuf ERROR google/protobuf/descriptor_database.cc:57] File already exists in database: caffe.proto
[libprotobuf FATAL google/protobuf/descriptor.cc:1018] CHECK failed: generated_database_->Add(encoded_file_descriptor, size):
Killed
解决方法:
最好方法是重启matlab

安装2:
在有多个项目需要使用多个data时,最好将所有需要用的数据都存放在datasets文件夹下,使用ln -s srcpath dstpath来构建软链接到项目中,这样一次构建就可以永久使用,也不用考虑后续的其它问题。
构建软链接的命令为:
ln -s srcpath dstpath

在使用faster-rcnn时候,如果因为服务器的迁移带来的问题,那么需要将bin文件夹下生成的mex文件进行删除,使用faster_rcnn_build命令来重新生成,具体的操作细节同faster-rcnn的github主页上readme相同。


注意:faster-rcnn中使用的caffe版本较低,不支持cudnn-v4,因此如果要在Makefile.config文件中打开CUDNN加速,那么安装的cudnn版本应该低于v4(v2或者v3:没试过)



---------------------------------------------------- 2016.05.09更新 --------------------------------------------------

Faster RCNN主要有两部分组成:
  Region porposal Network(获取region candidate)
  Detection(Fast RCNN)

由于rpn网络是一个0(non-region) vs 1 (region)网络,所以一般情况下不用使用自己的数据集进行finetuning,直接使用已经训练好的rpn_ZF.caffemodel获取对应图像的region proposal即可。当然也可以使用自己的数据集对该网络进行finetuning。
RPN网络的另外一种region 提取方法:
DeepBox
deepproposal
deepmask


但是在一般应用中需要根据自己的实际情况对detection网络,即Fast RCNN网络进行finetuning。这里要讲的是如何使用自己的数据集对Fast RCNN网络进行finetuning。在已有训练好的网络caffemodel前提下,从头训练一个网络是非常费时也是费人的。我就是经历了这样一个痛苦的过程,才走回正道。在做一个事情之前需要认证想清楚自己的目标是什么,不要盲目的做,到头来浪费时间,耽误研究进程。

如何使用自己的数据集finetuning FastRCNN,网上已经给出了很多参考教程:

Train a fast-rcnn CovNet on another dataset

Train Fast-RCNN on Another Dataset

Test Fast-RCNN on Another Dataset

how to use py-faster-rcnn to do 4 classes training instead of 20 classes?

Training Faster RCNN on Imagenet

How to train fast rcnn on imagenet

 

以及将ResNet应用于Fast RCNN中进行检测:

ResNet Implementation for Faster-rcnn

上述进行Fast RCNN finetuning都是基于fast rcnn python版本进行。由于本人使用的是Ren Shaoqing提供的matlab版本,所以需要在matlab下面进行finetuning。

在$FRCNN/experiments/ZF_for_Fast_RCNN_VOC0712文件中,在给定train.mat(bbox:region candidate,images: image_path)条件下使用数据集进行finetuning。

操作步骤:

1.$FRCNN/+Dataset/文件夹下添加自己的数据集对应文件;

2.使用selective search 或者上面提到的已经训练好的RPN网络来获取bbox,将其存成train.mat形式(具体形式见网上selective_search_data.mat);

3.修改solver.prototxt文件以及train_val.prototxt 和 test.protxt文件中对应的cls  和 bbox数值,以及对应的layer_name;

4. 修改fast_rcnn_train.m文件中snapshot函数中

  bbox_pred_layer_name = 'bbox_pred_vid';

为自己定义的layer:name(bbox_pred_vid)。

5. 修改fast_rcnn_im_detect.m文件中

    scores = caffe_net.blobs('cls_score_vid').get_data();

为自己定义的layer:name(cls_score_vid)。

6.修改imdb_eval函数

 

最后就可以按照ZF_for_Fast_RCNN_VOC0712仿写自己的训练程序。

 

 


2017.05.16更新 py-faster-rcnn

Nvidia cuda版本已经更新至8.0,因此在使用py-faster-rcnn的时候需要支持cuda8.0,而原始的faster python版本代码并不支持cuda8.0,所以需要将其中的caffe代码进行更新。

更新代码方式见:py-faster-rcnn support 1080P and cudnn v5?

 

posted @ 2016-04-07 11:07  Fight boy  阅读(13084)  评论(3编辑  收藏  举报