HOG+SVM，4个级别（图、window、block、cell），push_back深拷贝浅拷贝，求余的妙用（OpenCV案例源码train_HOG.cpp解读）
有所更改，参数不求完备，但求实用。源码参考D:\source\opencv-3.4.9\samples\cpp\train_HOG.cpp，OpenCV3.4.9版本，内容与低版本略有不同。
【功能】HOG特征适合外形相似的目标识别。如图片中识别行人。
【知识点1】
方向梯度直方图（Histogram of Oriented Gradient, HOG）是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
HOG特征就是直方图，以梯度幅值作为权重，梯度主要存在于边缘，所以适合外形相似的目标识别。对噪声非常敏感，可以先滤波。
【知识点2】1——图，2——检测窗window，3——block，4——cell。参考https://blog.csdn.net/Pierce_KK/article/details/89501308
注意：检测窗2是不动的，HOG特征检测的是window，而不是图1。也就是说图1中2以外的区域永远不会被检测。block在window中移动，cell也是不动的。
window2可以大些保证目标包含在里面，window是block的整数倍，block是cell的整数倍，（window尺寸-block尺寸）是block移动步长的整数倍。cell默认8*8
【知识点3】push_back深拷贝浅拷贝，深拷贝不同内存，处理后者，前者不受影响。浅拷贝指向同一内存，其一变则都变。
【知识点4】求余，a%b的结果会锁定在0~(b-1)范围。
【知识点拓展】详解请参考https://www.zhihu.com/question/45833619
【样本】
1、正样本尺寸统一
2、负样本尺寸≥正样本≥检测窗，且负样本不允许出现检测的目标
【解读参考】https://blog.csdn.net/xiao__run/article/details/82902267
【HOG原理】https://livezingy.com/hogdescriptor-in-opencv3-1/
https://cloud.tencent.com/developer/article/1434949
https://blog.csdn.net/zhanghenan123/article/details/80853523
【疑问讨论】
computeHOGs()中对正、负样本原图进行了抠取，sample_neg()对负样本原图进行了抠取，也就是说负样本原图被抠取了两次，感觉没必要。最终是以computeHOGs()中window大小来检测正负样本的HOG特征。
【版本说明】3.4.9版本imread读取行人样本素材png会失败，因为这些素材是老解码标准，新版本opencv已经更新了libjpg和libpng，无法读取旧版本。
测试结果图上，矩形框越绿，说明置信度越高，越准确
#include<opencv2\opencv.hpp> #include <iostream> using namespace cv; using namespace cv::ml; using namespace std; //自定义函数 vector< float > get_svm_detector(const Ptr< SVM >& svm); void convert_to_ml(const std::vector< Mat > & train_samples, Mat& trainData); void load_images(const String & dirname, vector< Mat > & img_lst, bool showImages); void sample_neg(const vector< Mat > & full_neg_lst, vector< Mat > & neg_lst, const Size & size); void computeHOGs(const Size wsize, const vector< Mat > & img_lst, vector< Mat > & gradient_lst, bool use_flip); void test_trained_detector(String obj_det_filename, String test_dir, String videofilename); int main(int argc, char** argv) { String pos_dir = "./Data/Ng";//正样本路径 String neg_dir = "./Data/Ok";//负样本路径 String test_dir = "./Data/test";//测试样本路径 String obj_det_filename = "HOGpedestrian64x128.xml";//训练后生成的模型 String videofilename = ""; //视频文件，无则处理图像，有则只处理视频 int detector_width = 64;//检测窗大小，能够框住所有正样本里的目标，可以大点。必须是滑动块block的倍数 int detector_height = 128; bool test_detector = "HOGpedestrian64x128.xml";//已有模型 bool visualization = false;//可视化训练步骤 bool flip_samples = false; //样本是否旋转180° //if (test_detector)//如果已有模型，则直接用于测试 //{ // test_trained_detector(obj_det_filename, test_dir, videofilename); // exit(0); //} vector< Mat > pos_lst, full_neg_lst, neg_lst, gradient_lst; vector< int > labels; load_images(pos_dir, pos_lst, visualization);//读取正样本 load_images(neg_dir, full_neg_lst, false);//读取负样本 //抠取制作负样本 sample_neg(full_neg_lst, neg_lst, Size(detector_width, detector_height));//制作负样本，原图中抠取检测窗大小的图 //提取正样本HOG特征 computeHOGs(Size(detector_width, detector_height), pos_lst, gradient_lst, flip_samples); size_t positive_count = gradient_lst.size(); labels.assign(positive_count, +1);//labels中前positive_count个对象赋值为+1，对应gradient_lst中正样本 clog << "正样本个数：" << positive_count << endl; //提取负样本HOG特征 computeHOGs(Size(detector_width, detector_height), neg_lst, gradient_lst, flip_samples);//此时gradient_lst包含了正、负样本集的HOG特征 size_t negative_count = gradient_lst.size() - positive_count; labels.insert(labels.end(), negative_count, -1);//labels中后negative_count个对象赋值为-1，对应gradient_lst中负样本 CV_Assert(positive_count < labels.size()); clog << "负样本个数：" << negative_count << endl; //格式化特征样本集，使之行为样本，列为HOG特征 Mat train_data; convert_to_ml(gradient_lst, train_data);//正、负样本集转换为用于训练的数据 //设定SVM参数 Ptr< SVM > svm = SVM::create(); svm->setCoef0(0.0);//都是默认值 svm->setDegree(3); svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 1e-3)); svm->setGamma(0); svm->setKernel(SVM::LINEAR);//LINEAR svm->setNu(0.5); svm->setP(0.1); // for EPS_SVR svm->setC(0.01); svm->setType(SVM::EPS_SVR); // EPS_SVR回归问题；C_SVC分类问题; //训练 svm->train(train_data, ROW_SAMPLE, labels); //生成模型，检测窗64*128，滑动块16*16，滑块步长8*8，cell 8*8，cell中梯度方向统计到9个范围（维度）中 //参考 https://blog.csdn.net/NSSC_K/article/details/88547916 HOGDescriptor hog;//默认参数winSize(64,128), blockSize(16,16), blockStride(8,8), cellSize(8, 8), nbins(9) hog.winSize = Size(detector_width, detector_height); hog.setSVMDetector(get_svm_detector(svm)); hog.save(obj_det_filename);//保存模型 //测试 test_trained_detector(obj_det_filename, test_dir, videofilename); return 0; } vector< float > get_svm_detector(const Ptr< SVM >& svm) { // get the support vectors Mat sv = svm->getSupportVectors(); const int sv_total = sv.rows; // get the decision function Mat alpha, svidx; double rho = svm->getDecisionFunction(0, alpha, svidx); //*括号中的条件不满足时，返回错误 CV_Assert(alpha.total() == 1 && svidx.total() == 1 && sv_total == 1); CV_Assert((alpha.type() == CV_64F && alpha.at<double>(0) == 1.) || (alpha.type() == CV_32F && alpha.at<float>(0) == 1.f)); CV_Assert(sv.type() == CV_32F); vector< float > hog_detector(sv.cols + 1); memcpy(&hog_detector[0], sv.ptr(), sv.cols*sizeof(hog_detector[0]));//内存拷贝函数，从源src所指的内存地址的起始位置开始拷贝n个字节到目标dst所指的内存地址的起始位置中。 hog_detector[sv.cols] = (float)-rho; return hog_detector; } //把训练样本集train_samples转换为可用于机器学习的数据trainData（其实就是保证：每行为1个样本，列是HOG特征） void convert_to_ml(const vector< Mat > & train_samples, Mat& trainData) { const int rows = (int)train_samples.size();//行数等于训练样本个数 const int cols = (int)std::max(train_samples[0].cols, train_samples[0].rows);//列数取样本图片中宽度与高度中较大的那一个 Mat tmp(1, cols, CV_32FC1); trainData = Mat(rows, cols, CV_32FC1); for (size_t i = 0; i < train_samples.size(); ++i) { CV_Assert(train_samples[i].cols == 1 || train_samples[i].rows == 1); if (train_samples[i].cols == 1)//如果是列向量（HOG特征组成的），则转置为行，保证1行1个样本 { transpose(train_samples[i], tmp);//转置 tmp.copyTo(trainData.row((int)i)); } else if (train_samples[i].rows == 1)//如果是行向量，则保持不变 { train_samples[i].copyTo(trainData.row((int)i)); } } } //读取图像，dirname路径下的图像保存到img_lst容器中，showImages是否显示每一张图 void load_images(const String & dirname, vector< Mat > & img_lst, bool showImages = false) { vector< String > files; glob(dirname, files);//获取路径中的所有图像 for (size_t i = 0; i < files.size(); ++i) { Mat img = imread(files[i]); if (img.empty()) { cout << files[i] << " is invalid!" << endl; continue; } if (showImages) { imshow("image", img); waitKey(1); } img_lst.push_back(img);//push_back函数是在结尾插入一个新元素，不会覆盖原来vector中的对象 } } //负样本制作，从full_neg_lst负样本容器中负样本图的随机部位裁剪出size大小的图，保存到neg_lst容器中 void sample_neg(const vector< Mat > & full_neg_lst, vector< Mat > & neg_lst, const Size & size) { Rect box; box.width = size.width; box.height = size.height; const int size_x = box.width; const int size_y = box.height; for (size_t i = 0; i < full_neg_lst.size(); i++) if (full_neg_lst[i].cols > box.width && full_neg_lst[i].rows > box.height)//图片大于矩形 { box.x = rand() % (full_neg_lst[i].cols - size_x);//a%b得到的结果范围是0~b-1 box.y = rand() % (full_neg_lst[i].rows - size_y); Mat roi = full_neg_lst[i](box); neg_lst.push_back(roi.clone());//深拷贝（不同内存），如果浅拷贝（同一内存）那么在操作roi时，原图的roi区域也改变。 } } //计算HOG特征，wsize尺寸的移动窗提取img_lst容器中图像的HOG特征，保存到gradient_lst容器中，use_flip是否对img_lst翻转180° void computeHOGs(const Size wsize, const vector< Mat > & img_lst, vector< Mat > & gradient_lst, bool use_flip) { HOGDescriptor hog; hog.winSize = wsize; Mat gray; vector< float > descriptors; for (size_t i = 0; i < img_lst.size(); i++) { if (img_lst[i].cols >= wsize.width && img_lst[i].rows >= wsize.height) { Rect r = Rect((img_lst[i].cols - wsize.width) / 2, //抠取原图，sample_neg()已经对负样本进行了抠取，所以负样本共被抠取两次 (img_lst[i].rows - wsize.height) / 2, wsize.width, wsize.height); cvtColor(img_lst[i](r), gray, COLOR_BGR2GRAY); hog.compute(gray, descriptors, Size(8, 8));//Size(8,8)为滑动块block移动步长，计算HOG特征，保存到descriptors gradient_lst.push_back(Mat(descriptors).clone());//防止处理gradient_lst中对象时，干扰到源数据，所以深拷贝。 if (use_flip) { flip(gray, gray, 1);//旋转180度 hog.compute(gray, descriptors, Size(8, 8)); gradient_lst.push_back(Mat(descriptors).clone()); } } } } //测试模型，用训练好的模型obj_det_filename，测试test_dir目录中的图片或者测试videofilename视频帧（两者都有，则测试后者） void test_trained_detector(String obj_det_filename, String test_dir, String videofilename) { HOGDescriptor hog; hog.load(obj_det_filename); vector< String > files; glob(test_dir, files); int delay = 0; VideoCapture cap; if (videofilename != "") { if (videofilename.size() == 1 && isdigit(videofilename[0])) cap.open(videofilename[0] - '0'); else cap.open(videofilename); } obj_det_filename = "testing " + obj_det_filename; namedWindow(obj_det_filename, WINDOW_NORMAL); for (size_t i = 0;; i++) { Mat img; if (cap.isOpened()) { cap >> img; delay = 1; } else if (i < files.size()) { img = imread(files[i]); } if (img.empty()) { return; } vector< Rect > detections; vector< double > foundWeights; //检测多目标 hog.detectMultiScale(img, detections, foundWeights);//detections存储矩形框信息，foundWeights是每个目标的置信度（0~1，越接近1越准确） for (size_t j = 0; j < detections.size(); j++) { Scalar color = Scalar(0, foundWeights[j] * foundWeights[j] * 255, 0);//框越绿越准确 rectangle(img, detections[j], color, img.cols / 400 + 1);//画矩形框 } imshow(obj_det_filename, img); if (waitKey(delay) == 27) { return; } } }
