Ubuntu下Caffe实现物体分类
参考链接：
ubuntu下配置Caffe：https://blog.csdn.net/a_z666666/article/details/72853346
https://www.cnblogs.com/go-better/p/7161006.html
注意防坑点：Python和OpenCV版本都是采用的2.版本。（一开始在github上下载的，Python是3.6.4（由于安装了anaconda）和OpenCV和4.0版本，Caffe还不支持4.0的OpenCV；后来OpenCV降到3.1.0版本，安装还是各种坑。索性把Python和OpenCV都降到2.版本（先卸载了anaconda），我采用的Python是Ubuntu16.04自带的2.7.12，OpenCV是2.4.11版本，一次即配置成功。）
下面开始介绍Caffe实现物体分类的具体流程：
前期准备参考上一篇博客链接：http://www.cnblogs.com/wmr95/p/9022415.html ，这里train和test的lmdb准备还是一样(这里test.txt没有标签，可以先默认所有标签都是1，然后生成lmdb，最后在acc层可以来预测test的lmdb来得到每个的预测结果，可以把预测结果写入到一个txt中)。
（这里采用的是SENet，顺便介绍下配置SENet的过程。）github链接：https://github.com/hujie-frank/SENet （Momenta大佬写的）
（采用其他网络如resnet也是一样的步骤，而且不需要添加新的层。直接配置prototxt即可。）
1. 首先配置好senet的prototxt（SENet-50_train.prototxt，SENet-50_deploy.prototxt，SENet-50_solver.prototxt）
大部分的配置都在example下：
a. SENet-50_solver.prototxt的配置：
net: "examples/signboard/senet/SENet-50_train.prototxt" base_lr: 0.0001 lr_policy: "step" gamma: 0.1 stepsize: 500 display: 20 max_iter: 2000 momentum: 0.9 weight_decay: 0.0005 snapshot: 100 snapshot_prefix: "examples/signboard/model/senet" solver_mode: CPU
net：表示训练网络的路径，solver_mode：表示CPU模式。
b. SENet-50_train.prototxt的配置改了下输入和输出：
输入部分：
name: "SE-ResNet-50" layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN } data_param { source: "examples/signboard/train_lmdb" batch_size: 16 backend: LMDB } }
输出部分：
layer { name: "pool5/7x7_s1" type: "Pooling" bottom: "conv5_3" top: "pool5/7x7_s1" pooling_param { pool: AVE kernel_size: 3 #注意这里kersize改为3，这个可能是根据你输入图像的大小，我这里resize成224 stride: 1 } } layer { name: "fc" #这里原来name为classifier，报错。问题链接：https://blog.csdn.net/raby_gyl/article/details/72357269 type: "InnerProduct" bottom: "pool5/7x7_s1" top: "fc" #这里同样将classifier改成fc，下面bottom也要记得修改 inner_product_param { num_output: 100 #这里改成你自己的分类数目 } } layer { name: "accuracy" type: "Accuracy" bottom: "fc" bottom: "label" top: "accuracy" include { phase: TEST } } layer { name: "loss" type: "SoftmaxWithLoss" bottom: "fc" bottom: "label" top: "loss" }#
c. SENet-50_deploy.prototxt配置：
输入部分：
name: "SE-ResNet-50" layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TEST } data_param { source: "examples/signboard/senet/test_lmdb" batch_size: 20 backend: LMDB } }
输出部分：（这里解释同train.prototxt）
layer { name: "pool5/7x7_s1" type: "Pooling" bottom: "conv5_3" top: "pool5/7x7_s1" pooling_param { pool: AVE kernel_size: 3 stride: 1 } } layer { name: "fc" type: "InnerProduct" bottom: "pool5/7x7_s1" top: "fc" inner_product_param { num_output: 100 } } layer { name: "prob" type: "Softmax" bottom: "fc" top: "prob" } layer { name: "accuracy" type: "Accuracy" bottom: "fc" bottom: "label" top: "accuracy" include { phase: TEST } }
2. 接下来在Caffe中添加并编译Axpy层，在Caffe中主要添加三个文件：caffe/include/caffe/layers文件夹下：axpy_layer.hpp；caffe/src/caffe/layers文件夹下：axpy_layer.cpp和axpy_layer.cu文件。这三个文件在git上都有：https://github.com/hujie-frank/SENet
添加完之后，在caffe/src/caffe/proto中的caffe.proto中message LayerParameter中为新层添加参数：
这里注意AxpyParameter的ID不能和现有的重复，我这里取148。另外添加一个新的message，如果有参数就写进去，没有就空着。
3. 接下来在Caffe的路径下进行make all就行了。执行命令：make all -j20
4. 接下来，编写执行脚本进行训练：
在caffe的路径下新建一个train_senet.sh，输入以下内容：
#!usr/bin/env sh ./build/tools/caffe train --solver=./examples/signboard/senet/SENet-50_solver.prototxt \ --weights=./examples/signboard/senet/SE-ResNet-50.caffemodel
执行train_senet.sh文件，便OK啦。
最后训练模型完成之后，要进行test数据的预测，我这里想把每个图片预测的分类写到一个txt中。
1. 这里只修改caffe/src/caffe/layers/的accuracy_layer.cpp中的Forward_cpu部分：（因为我们在deploy.prototxt中写了acc层，预测结果可以从这里获取）
template <typename Dtype> void AccuracyLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) { ofstream fout; fout.open("/home/wanglaotou/Caffe/caffe-master/out.txt", std::ios::out | std::ios::app); Dtype accuracy = 0;//准确率 const Dtype* bottom_data = bottom[0]->cpu_data();//100*10 const Dtype* bottom_label = bottom[1]->cpu_data();//100*1,100个图像对应的类 const int dim = bottom[0]->count() / outer_num_;//dim=10 const int num_labels = bottom[0]->shape(label_axis_); //全连接后的blob数据都是2维的，label_axis_=1，所以shape就应该是N*D中的D（这块可以看我上一篇文章） //所以bottom[0]->shape（1）=10，也就是类别数 vector<Dtype> maxval(top_k_+1); vector<int> max_id(top_k_+1); if (top.size() > 1) { caffe_set(nums_buffer_.count(), Dtype(0), nums_buffer_.mutable_cpu_data()); caffe_set(top[1]->count(), Dtype(0), top[1]->mutable_cpu_data()); } int count = 0; //LOG(INFO) << "outer_num_: "<<outer_num_<<"\n"; //LOG(INFO) << "inner_num_: "<<inner_num_<<"\n"; for (int i = 0; i < outer_num_; ++i) {//outer_num_=100 for (int j = 0; j < inner_num_; ++j) {//inner_num_为每个图像所对应的类别数，所以=1 const int label_value = static_cast<int>(bottom_label[i * inner_num_ + j]); //将bottom_label的值赋给label_value，[i * inner_num_ + j]其实就是一个图像一个类嘛 if (has_ignore_label_ && label_value == ignore_label_) { continue; } if (top.size() > 1) ++nums_buffer_.mutable_cpu_data()[label_value]; DCHECK_GE(label_value, 0); DCHECK_LT(label_value, num_labels);//label_value（0~9）肯定小于 num_labels（10） // Top-k accuracy // top_k为取前k个最高评分（的预测标签） std::vector<std::pair<Dtype, int> > bottom_data_vector; //这个主要就是用于对接下来两步把测试评分与类别ID挂勾，并对评分排序（这里我其实是比较迷糊的，测试评分指的是bottom_data，难道说经过全连接后，得到的向量就是测试评分？ 迷糊中～～～） for (int k = 0; k < num_labels; ++k) { bottom_data_vector.push_back(std::make_pair( bottom_data[i * dim + k * inner_num_ + j], k)); //把测试评分与类别ID挂勾， } std::partial_sort( bottom_data_vector.begin(), bottom_data_vector.begin() + top_k_, bottom_data_vector.end(), std::greater<std::pair<Dtype, int> >());//排序 // check if true label is in top k predictions //LOG(INFO) << "top_k_: "<<top_k_<<"\n"; for (int k = 0; k < top_k_; k++) { //if (bottom_data_vector[k].second == label_value) { // ++accuracy; // .second指的是类别，如果跟label_value相等，那就说明准确 // if (top.size() > 1) ++top[1]->mutable_cpu_data()[label_value]; // break; //} LOG(INFO) << "label_value: "<<bottom_data_vector[k].second + 1<<"\n"; fout <<"label_value: "<<bottom_data_vector[k].second + 1<<"\n"; fout.flush(); } ++count; } } LOG(INFO) << "Accuracy: " << accuracy; top[0]->mutable_cpu_data()[0] = accuracy / count; if (top.size() > 1) { for (int i = 0; i < top[1]->count(); ++i) { top[1]->mutable_cpu_data()[i] = nums_buffer_.cpu_data()[i] == 0 ? 0 : top[1]->cpu_data()[i] / nums_buffer_.cpu_data()[i]; } } fout.close(); // Accuracy layer should not be used as a loss function. }
2. 编写test.sh脚本文件进行测试：
#!usr/bin/env sh ./build/tools/caffe test --iterations=50 --model=./examples/signboard/senet/SENet-50_deploy.prototxt \ --weights=./examples/signboard/model/senet_iter_2000.caffemodel
3. 执行脚本完后会得到一个out.txt文件，内容如下：
到此，大功告成～
