opencv 3.0 DPM Cascade 检测 （附带TBB和openMP加速）
opencv 3.0 DPM cascade contrib模块
转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/
在opencv3.0 中 加入DPM检测的C++代码，目前开源的DPMC++代码不多，在2.4的opencv 版本中，DPM模块中在检测时用的是latentSVM，这个是标准的DPM matlab源码中使用的分类器，不过在在voc_release 5.01版本中已经也加入了cascade。这一版本的C++ DPM也加入了级联分类器，并做了TBB和openMP加速，先晒一张TBB加速后的图
x64, release 开启TBB加速，TBB加速的效果比较明显，在0.5S左右
目前工程化的代码比较少，在这之前我还试了yuxiaoguo 的DPM代码，这里我放一个链接yuxiaoguo，作者的硕士毕设完成的是将DPM源码实现了C++的版本，并做了不少优化。
首先感谢这么有奉献精神的人士，让大家在学习应用DPM的时候有了更多的资源，他已经开源了，相关的代码可以在其博客上下到，首先的性能还不错。
今天我主要说一下怎么跑opencv 3.0 中的DPM代码，需要说明的是在3.0模块中，DPm的相关部分已经被剥离了，在opencv_contrib这个模块中，这里给出模块的github链接，必须到上面去下，原始的3.0SDK中已经没有了
下面是链接
https://github.com/Itseez/opencv_contrib
你可以直接把代码建工程，链接到相应的另外的opencv库，也可以直接把模块编译进去，生成库文件
生成库文件的具体步骤如下：
http://segmentfault.com/a/1190000003496009
但是我跟着步骤，用cmake做了configure，去除了部分没有的选项，添加了额外的contrib module，configure generate没有任何报错，在用visual studio 2013 打开工程，在cmake targets 中直接Build install，生成的时候报了不少错，因为着急看效果，因此也懒得折腾了，如果谁有碰到opencv编译报错，可以把相关的处理过程贴一下。
DPM +TBB and openMP
这一版本的opencv DPM检测代码加入了TBB并行加速和openMP并行加速，有个开关可以控制
开启TBB加速
需要定义HAVE_TBB这个宏，不想在文件里加的话，直接全局生效，右键点击工程-->属性-->c/c++-->预处理器-->预处理器定义，点击下拉框中的编辑里天机即可
接着还需要下载tbb这个库，TBB是英特尔推出的并行库
这里是官网链接https://www.threadingbuildingblocks.org
具体的配置我就不再详述了，跟opencv 配置一样，添加path变量，在工程属性页中添加include头文件路径和相应的库目录和链接的库名字
开启openMP加速
直接在工程的属性页中C++页卡，语言下面选择openMP支持即可
因此我这里选择了直接建立工程，直接把项目clone 到本地，打开DPM的文件夹，
建立工程列表如下：
主函数：
#include "dpm.hpp"
#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <stdio.h>
#include <iostream>
#include <fstream>
using namespace cv;
using namespace cv::dpm;
using namespace std;
int save_results(const string id, const vector<DPMDetector::ObjectDetection> ds, ofstream &out);
static void help()
{
cout << "\nThis example shows object detection on image sequences using \"Deformable Part-based Model (DPM) cascade detection API\n"
"Call:\n"
"./example_dpm_cascade_detect_sequence <model_path> <image_dir>\n"
"The image names has to be provided in \"files.txt\" under <image_dir>.\n"
<< endl;
}
static bool readImageLists( const string &file, vector<string> &imgFileList)
{
ifstream in(file.c_str(), ios::binary);
if (in.is_open())
{
while (in)
{
string line;
getline(in, line);
imgFileList.push_back(line);
}
return true;
}
else
{
cerr << "Invalid image index file: " << file << endl;
return false;
}
}
void drawBoxes(Mat &frame,
vector<DPMDetector::ObjectDetection> ds,
Scalar color,
string text);
int main( int argc, char** argv )
{
const char* keys =
{
"{@model_path | | Path of the DPM cascade model}"
"{@image_dir | | Directory of the images }"
};
CommandLineParser parser(argc, argv, keys);
//string model_path(parser.get<string>(0));
//string image_dir(parser.get<string>(1));
//string image_list = image_dir + "/files.txt";
string model_path ="D:\\WorkSpace\\VS_Projects\\opencv_dpm\\opencv_dpm\\inriaperson.xml";
string image_dir = "D:\\DataSet\\INRIAPerson";
string image_list = "D:\\DataSet\\INRIAPerson\\Test\\pos1.lst";
if( model_path.empty() || image_dir.empty() )
{
help();
return -1;
}
vector<string> imgFileList;
if ( !readImageLists(image_list, imgFileList) )
return -1;
#ifdef HAVE_TBB
cout << "Running with TBB" << endl;
#else
#ifdef _OPENMP
cout << "Running with OpenMP" << endl;
#else
cout << "Running without OpenMP and without TBB" << endl;
#endif
#endif
cv::Ptr<DPMDetector> detector = \
DPMDetector::create(vector<string>(1, model_path));
namedWindow("DPM Cascade Detection", 1);
// the color of the rectangle
Scalar color(0, 255, 255); // yellow
Mat frame;
for (size_t i = 0; i < imgFileList.size(); i++)
{
double t = (double) getTickCount();
vector<DPMDetector::ObjectDetection> ds;
string imageFile = image_dir + "\\" + imgFileList[i];
Mat image = imread(imageFile);
frame = image.clone();
if (image.empty()) {
cerr << "\nInvalid image:\n" << imgFileList[i] << endl;
return -1;
}
// detection
detector->detect(image, ds);
// compute frame per second (fps)
t = ((double) getTickCount() - t)/getTickFrequency();//elapsed time
cout << t << endl;
// draw boxes
string text = format("%0.1f fps", 1.0/t);
drawBoxes(frame, ds, color, text);
// show detections
imshow("DPM Cascade Detection", frame);
waitKey(0);
//if ( waitKey(30) >= 0)
// break;
}
return 0;
}
void drawBoxes(Mat &frame, \
vector<DPMDetector::ObjectDetection> ds, Scalar color, string text)
{
for (unsigned int i = 0; i < ds.size(); i++)
{
rectangle(frame, ds[i].rect, color, 2);
}
// draw text on image
Scalar textColor(0,0,250);
putText(frame, text, Point(10,50), FONT_HERSHEY_PLAIN, 2, textColor, 2);
}
在x64 release 模式下，图像的分辨率480*360,测试的是Inria行人数据集
不开加速的检测时间如下：大约在0.6~0.7秒之间
x64, release 开启TBB加速，TBB加速的效果比较明显，在0.5S左右
x64, release 开启openMP加速，openMP加速不如TBB加速明显，在0.5S~0.6S之间
代码写的非常规整，有较高的参考价值
