OpenCV笔记(9) calcHist绘制直方图
直方图只是简单地将数据归入预定义的组，并在每个组内进行计数。也可以选择对数据提取特征，再对特征进行计数，这里的特征可以是梯度的长度、梯度的方向、颜色或其他任何可以反应数据特点的特征。也就是说，直方图是一种用来揭示数据分布的统计特性的工具。
直方图在计算机视觉中的应用：
- 通过判断帧与帧之间边缘和颜色的统计量是否出现巨大变化，来检测视频中场景的变化。
- 通过使用兴趣点邻域内的特征组成的直方图，来辨识兴趣点。若将边缘、颜色、角点等等的直方图作为特征，可以使用分类器来进行目标识别。
- 提取视频中的颜色或边缘直方图序列，可以用来判断视频是否拷贝自网络。等等。
1 cv::calcHist()：从数据创建直方图
函数cv::calcHist()可以从一个或者多个数组中创建直方图。直方图的维度和输入数组的维度或大小无关，而是取决于输入数组的数量。cv::calcHist()总共有三种形式，前两种使用“老式的”C风格数组，第三种使用STLvector模板类型的参数。
void calcHist( const Mat* images, int nimages,//指向C风格数组列表的指针，同时指定包含的数组个数 const int* channels, InputArray mask,//指定哪些通道要考虑，每个数组哪些像素要考虑 OutputArray hist, int dims, const int* histSize,//直方图计算的输出值，维度，维度中的区间个数 const float** ranges, bool uniform = true, bool accumulate = false );
//区间上下界，区间是否等长，在images得到的数据被累加进hist之前不要将其中的元素删除，重新分配，或置为零
void calcHist( const Mat* images, int nimages, const int* channels, InputArray mask, SparseMat& hist, int dims,//计算结果保存在稀疏矩阵中 const int* histSize, const float** ranges, bool uniform = true, bool accumulate = false );
void calcHist( InputArrayOfArrays images, const std::vector<int>& channels,//channel中的元素个数正是直方图的维度 InputArray mask, OutputArray hist, const std::vector<int>& histSize,//直方图每个维度需要分为多少个区间 const std::vector<float>& ranges,//指定最矮区间的下界，最高区间的上界 bool accumulate = false );
书P339示例13-1：从图片中计算色调(hue)-饱和度(saturation)直方图，然后绘制在网格中
#include <opencv.hpp> using namespace cv; using namespace std; int main() { Mat src = imread("D:\\Backup\\桌面\\a.PNG"); Mat hsv; cvtColor(src, hsv, COLOR_BGR2HSV); float h_ranges[] = { 0,180 };//色调，取值0-180，主要调节颜色 float s_ranges[] = { 0,256 }; //饱和度，取值0 - 255，255饱和度好，0饱和度差 const float* ranges[] = { h_ranges,s_ranges };//两个通道放一起 int histSize[] = { 30,32 };//h，s通道分别取30，32个区间 int ch[] = { 0,1 };//hsv三个通道，选前两个 Mat hist; //计算直方图 calcHist(&hsv, 1, ch, noArray(), hist, 2, histSize, ranges, true); normalize(hist, hist, 0, 255, NORM_MINMAX);//归一化
//画出直方图 int scale = 10;//二维直方图，每个格子10*10 Mat hist_img(histSize[0] * scale, histSize[1] * scale, CV_8UC3);//所需图片尺寸300*320 for (int h = 0; h < histSize[0]; h++) { for (int s = 0; s < histSize[1]; s++) { float hval = hist.at<float>(h, s);//取出hist rectangle(hist_img, Rect(h * scale, s * scale, scale, scale), Scalar::all(hval), -1); } } imshow("image", src); imshow("H-S histogram", hist_img); waitKey(); return 0; }
再来一个RGB的
#include <opencv.hpp> using namespace cv; using namespace std; int main() { Mat src = imread("D:\\Backup\\桌面\\a.PNG"); vector<Mat> bgrPlanes; split(src, bgrPlanes); float range[] = { 0,256 }; const float* ranges = { range }; int histSize = 256; vector<Mat> hist(3); vector<Scalar> color = { Scalar(255, 0, 0),Scalar(0, 255, 0),Scalar(0, 0, 255) }; Mat hist_img(histSize, histSize, CV_8UC3);//256*256的图放结果 //计算并绘制直方图 for (int i = 0; i < 3; i++) { calcHist(&bgrPlanes[i], 1, 0, noArray(), hist[i], 1, &histSize, &ranges, true); normalize(hist[i], hist[i], 0, 255, NORM_MINMAX);//归一化 for (int j = 1; j < histSize; j++) { line(hist_img, Point(j - 1, 256 - cvRound(hist[i].at<float>(j - 1))), Point(j, 256 - cvRound(hist[i].at<float>(j))), color[i], 2); } } imshow("image", src); imshow("BGR histogram", hist_img); waitKey(); return 0; }
2 基本直方图操作
2.1 归一化
可以简单使用数组的代数算子和操作来完成直方图归一化：
Mat normalized = my_hist / sum(my_hist)[0];
或者：
void normalize( InputArray src, InputOutputArray dst, double alpha = 1, double beta = 0, int norm_type = NORM_L2, int dtype = -1, InputArray mask = noArray());
void normalize( const SparseMat& src, SparseMat& dst, double alpha, int normType );
示例：
Possible usage with some positive example data: @code{.cpp} vector<double> positiveData = { 2.0, 8.0, 10.0 }; vector<double> normalizedData_l1, normalizedData_l2, normalizedData_inf, normalizedData_minmax; // Norm to probability (total count) // sum(numbers) = 20.0 // 2.0 0.1 (2.0/20.0) // 8.0 0.4 (8.0/20.0) // 10.0 0.5 (10.0/20.0) normalize(positiveData, normalizedData_l1, 1.0, 0.0, NORM_L1); // Norm to unit vector: ||positiveData|| = 1.0 // 2.0 0.15 // 8.0 0.62 // 10.0 0.77 normalize(positiveData, normalizedData_l2, 1.0, 0.0, NORM_L2);//对应L2范数 // Norm to max element // 2.0 0.2 (2.0/10.0) // 8.0 0.8 (8.0/10.0) // 10.0 1.0 (10.0/10.0) normalize(positiveData, normalizedData_inf, 1.0, 0.0, NORM_INF); // Norm to range [0.0;1.0] // 2.0 0.0 (shift to left border) // 8.0 0.75 (6.0/8.0) // 10.0 1.0 (shift to right border) normalize(positiveData, normalizedData_minmax, 1.0, 0.0, NORM_MINMAX); @endcode
2.2 二值化
将直方图二值化，并可以丢弃所有其中元素个数少于个给定值的区间，和归一化相同，二值化也可以不用任何特定的直方图方法来完成。用平时常用的标准数组二值化函数即可：
threshold( my_hist , my_threshold_hist , threshold , 0 , THRESH_TOZERO);//这个0此处没用
2.3 找出最显著的区间
有时你希望能找出所有元素个数高于某个给定阈值的区间，有时你只是希望能找出有最多元素的区间。这种情况多发生在使用直方图来表示概率分布的时候。这时你可以选择使用:
-
cv::minMaxLoc()
void minMaxLoc(InputArray src, double* minVal, double* maxVal = 0, Point* minLoc = 0, Point* maxLoc = 0, InputArray mask = noArray());
如果不需要计算某个结果，只需向其对应的变量传入NULL。如果有一个一维的vector<>数组，则可以使用cv::Mat(vec).reshape(1)来将其转为一个Nx1的二维数组。
稀疏数组的版本：
void minMaxLoc(const SparseMat& a, double* minVal, double* maxVal, int* minIdx = 0, int* maxIdx = 0);
如果是想找出一个n维非稀疏数组中的最大值或是最小值，则需要使用另一个函数：
-
cv::minMaxIdx()
void minMaxIdx(InputArray src, double* minVal, double* maxVal = 0, int* minIdx = 0, int* maxIdx = 0,
InputArray mask = noArray());
如果输入的src是一维的，应该将minIdx，maxIdx置为二维的。 因为函数内部将一维数组视为二维数组。
int max_idx[2]; double max_val; minMaxIdx(hist[0], NULL, &max_val, NULL, max_idx, noArray()); cout << "max_val = " << max_val << "at " << *max_idx;
2.4 比较两个直方图 cv::compareHist()
通过特殊的判据对两个直方图的相似度进行度量。
double compareHist( InputArray H1, InputArray H2, int method ); double compareHist( const SparseMat& H1, const SparseMat& H2, int method );
可用的方法如下
- COMP_CORRL 相关性方法
- COMP_CHISQR_ALT 卡方方法，好但慢
- COMP_INTERSECT 交集法，在快速而粗略的匹配中效果很好
- COMP_BHATTACHARYYA 巴氏距离，好但慢
- EMD 最符合直觉的匹配效果，但计算速度更慢
3 复杂的直方图方法
3.1 EMD距离cv::EMD()
光照的变化会使颜色值产生大量的偏移，但这种偏移不改变颜色直方图的形状。核心的困难是对于两个形状相同、但只是相对平移的两个直方图，距离度量会给出一个很大的值。EMD是对平移不敏感的距离度量方法，基本思路是，度量将一部分（或全部）直方图搬到一个新位置要花的功夫。
float EMD( InputArray signature1, InputArray signature2,//以签名的方式传入数组参数 int distType, InputArray cost=noArray(), float* lowerBound = 0, OutputArray flow = noArray() );
首先，在调用函数前必须要将直方图转为签名的形式。签名要求是float类型的数组，每行包括直方图区间的计数值，接下来是该区间的坐标。
参数distType可以是曼哈顿距离(DIST_L1)、欧几里得距离(DIST_L2)、棋盘距离(DIST_C)或自定义距离(DIST_USER)。当使用自定义的距离度量时，用户通过cost参数传进一个（预计算好的）费用矩阵（这时费用矩阵是一个n1xn2的矩阵，n1和n2是signature1和signature2的大小。
参数lowerBound有两个功能（一个是作为输入，另一个是作为输出）。作为返回值时，它是两个直方图重心距离的下界。 为了计算这个下界，必须提供一个标准的距离度量方法（不可以是DIST_USER) ，同时两个签名的总权重必须相同（正如直方图归一化后的情况）。 如果选择提供一个下界，你必须将该值初始化为一个有意义的值。 低于这个下界的，EMD距离才会被计算。例如，如果你想无论何种情况都计算EMD距离，将lowerBound初始化为0即可。
下一个参数flow是一个可选的n1xn2矩阵，用来记录从signature1的第i个点流向 signature2的第j个点的质量。 本质上，这给出的是在计算整个EMD中质量的具体安排情况。
在上文第一个例子色调(hue)-饱和度(saturation)直方图上用EMD方法：
1. 载入多张图：本文用三张图作比较
(image0和image1相同，image2加了滤镜)
2. 创建空签名
vector<Mat> sig(3);
3. 签名要求是float类型的数组，每行包括直方图区间的计数值，接下来是该区间的坐标
vector<Vec3f> sigv;//sigv中的而每一个元素都是，3通道float类型的 Vect（Vec3f） sigv.push_back(Vec3f(hval, (float)h, (float)s)); //在sigv尾部插入
4. 把vector类型的sigv，变为Mat，每一行三个值。注意：局部变量函数结束堆栈会销毁，必须返回堆上的对象，利用clone深拷贝对象。
sig[i] = Mat(sigv).clone().reshape(1);
5. 全代码
#include <opencv.hpp> using namespace cv; using namespace std; int main() { vector<Mat> sig(3); //为calcHist()准备参数 float h_ranges[] = { 0,180 };//色调，取值0-180，主要调节颜色 float s_ranges[] = { 0,256 }; //饱和度，取值0 - 255，255饱和度好，0饱和度差 const float* ranges[] = { h_ranges,s_ranges };//两个通道放一起 int histSize[] = { 30,32 };//h，s通道分别取30，32个区间 int ch[] = { 0,1 };//hsv三个通道，选前两个 //加载三张图，计算三个直方图 vector<Mat> src(3); vector<Mat> hsv(3); vector<Mat> hist(3); for (int i = 0; i < 3; i++) { src[i] = imread("D:\\Backup\\桌面\\"+to_string(i+1)+".PNG"); cvtColor(src[i], hsv[i], COLOR_BGR2HSV); calcHist(&hsv[i], 1, ch, noArray(), hist[i], 2, histSize, ranges, true); normalize(hist[i], hist[i], 0, 255, NORM_MINMAX);//归一化 } //画出三个直方图 int scale = 10;//二维直方图，每个格子10*10 vector<Mat> hist_img(3); for (int i = 0; i < 3; i++) { vector<Vec3f> sigv; hist_img[i] = Mat(histSize[0] * scale, histSize[1] * scale, CV_8UC3); for (int h = 0; h < histSize[0]; h++) { for (int s = 0; s < histSize[1]; s++) { float hval = hist[i].at<float>(h, s); rectangle(hist_img[i], Rect(h * scale, s * scale, scale, scale), Scalar::all(hval), -1); if (hval != 0) sigv.push_back(Vec3f(hval, (float)h, (float)s)); } } sig[i] = Mat(sigv).clone().reshape(1); imshow("image" + to_string(i), src[i]); imshow("H-S histogram" + to_string(i), hist_img[i]); } cout << EMD(sig[0], sig[2], DIST_L2); waitKey(); return 0; }
结果：
EMD(sig[0], sig[1], DIST_L2)=0
EMD(sig[0], sig[2], DIST_L2)=1.94666
3.2 反向投影cv::calcBackProject()
void calcBackProject( const Mat* images, int nimages, const int* channels, InputArray hist, OutputArray backProject, const float** ranges, double scale = 1, bool uniform = true );
void calcBackProject( const Mat* images, int nimages, const int* channels, const SparseMat& hist, OutputArray backProject, const float** ranges, double scale = 1, bool uniform = true );
void calcBackProject( InputArrayOfArrays images, const std::vector<int>& channels, InputArray hist, OutputArray dst, const std::vector<float>& ranges, double scale );
示例：https://blog.csdn.net/keith_bb/article/details/70154219
#include <iostream> #include <opencv2/core.hpp> #include <opencv2/highgui.hpp> #include <opencv2/imgproc.hpp> using namespace std; using namespace cv; //定义全局变量 Mat srcImage, hsvImage, hueImage; const int hueBinMaxValue = 180; int hueBinValue = 25; //声明回调函数 void Hist_and_Backprojection(int, void*); int main() { srcImage = imread("E:\\解条形码\\barcode_new\\crop\\1.bmp"); //判断图像是否加载成功 if (srcImage.empty()) { cout << "图像加载失败" << endl; return -1; } else cout << "图像加载成功..." << endl << endl; //将图像转化为HSV图像 cvtColor(srcImage, hsvImage, CV_BGR2HSV); resize(hsvImage, hsvImage, Size(hsvImage.cols / 20, hsvImage.rows / 20)); //只使用图像的H参数 hueImage.create(hsvImage.size(), hsvImage.depth()); int ch[] = { 0,0 }; mixChannels(&hsvImage, 1, &hueImage, 1, ch, 1); //轨迹条参数设置 char trackBarName[20]; sprintf_s(trackBarName, "Hue bin:%d", hueBinMaxValue); namedWindow("SourceImage", WINDOW_AUTOSIZE); //创建轨迹条并调用回调函数 createTrackbar(trackBarName, "SourceImage", &hueBinValue, hueBinMaxValue, Hist_and_Backprojection); Hist_and_Backprojection(hueBinValue, 0); imshow("SourceImage", srcImage); waitKey(0); return 0; } void Hist_and_Backprojection(int, void*) { MatND hist; int histsize = MAX(hueBinValue, 2); float hue_range[] = { 0,180 }; const float* ranges = { hue_range }; //计算图像直方图并归一化处理 calcHist(&hueImage, 1, 0, Mat(), hist, 1, &histsize, &ranges, true, false); normalize(hist, hist, 0, 255, NORM_MINMAX, -1, Mat()); //获取反向投影 MatND backProjection; calcBackProject(&hueImage, 1, 0, hist, backProjection, &ranges, 1, true); //输出反向投影 imshow("BackProjection", backProjection); //绘制图像直方图 int w = 400; int h = 400; int bin_w = cvRound((double)w / histsize); Mat histImage = Mat::zeros(w, h, CV_8UC3); for (int i = 0; i < hueBinValue; i++) { rectangle(histImage, Point(i * bin_w, h), Point((i + 1) * bin_w, h - cvRound(hist.at<float>(i) * h / 255.0)), Scalar(0, 0, 255), -1); } imshow("HistImage", histImage); }
4 模板匹配cv::matchTemplate()
通过cv::matchTemplate()进行模板匹配并不基于直方图，而是使用一个图像块在输入图像上进行“滑动”，并使用下文要介绍的匹配方法来进行比较。
void matchTemplate( InputArray image, //单字节8位或浮点型灰度或彩色图片
InputArray templ,//一个包含给定物体的（和当前图片相似的）另一张图片上取的图片块。 OutputArray result, //结果存放在result中，它是大小为(image.width-templ.width + 1, image. height -templ.height + 1)的单通道以整数字节或浮点存储的图片。
int method, //匹配方法
InputArray mask = noArray() );
匹配方法：
enum TemplateMatchModes { TM_SQDIFF = 0, //方差匹配法 TM_SQDIFF_NORMED = 1, //归一化方差匹配法 TM_CCORR_NORMED = 3, //归一化互相关匹配法 TM_CCOEFF = 4, //相关系数匹配法 TM_CCOEFF_NORMED = 5 //归一化相关系数匹配法 };
一旦使用cv: :matchTemplate()获得result，我们就可以使用cv: :minMaxloc()或是cv: :minMaxidx()找到最优匹配出现的位置。 同样，为了避免随机性引起的该位置恰好匹配得很好， 我们希望确保在找到的最优匹配的邻域内也有不错的匹配结果。 好的匹配点附近也应该有很好的匹配值， 因为在进行匹配时，对模板位置进行轻微的扰动，并不会引起结果的剧烈变化。你可以在寻找最大匹配值（对于选用相关性判据或是相关系数判据）或者最小值（对于选取方差判据）前，先对结果进行轻微的平滑。 这时，形态学算子可以帮你的忙。
