一杯清酒邀明月
天下本无事,庸人扰之而烦耳。

一,首先我们对函数先进行分析

findHomography:

 计算多个二维点对之间的最优单映射变换矩阵 H(3行x3列) (就是对图片的矫正),使用最小均方误差或者RANSAC方法

函数功能:找到两个平面之间的转换矩阵。


 这里涉及到映射变换的知识,

 下面介绍下什么是映射变换:

 1,如下图所示:

如果平面上点场的点建立了一个一一对应,并且满足:
(1)任何共线三点的象仍是共线三点;
(2)共线四点的交比不变。
则这个一一对应叫做点场的射影变换,简称射影变换
交比:     

 一维射影变换:

二维的图像是这样的


 射影变换也叫做单应(Homography)

图1通过H矩阵变换变成图2,就是这个函数的公式

                                       X=HX

X′代表图2

其操作过程

    • 在“大”图像(目标图像)上选择4个点和“小”图像(被合并图像)的四角做对应,然后根据这4对对应的点计算两幅图像的单应矩阵。
    • 得到单应矩阵H后,利用函数warpPerspective将H应用到“小”图像上,得到图像M
    • 将图像M合并到目标图像中选择的四个点的位置


1
Mat cv::findHomography ( InputArray srcPoints, 2 InputArray dstPoints, 3 int method = 0, 4 double ransacReprojThreshold = 3, 5 OutputArray mask = noArray(), 6 const int maxIters = 2000, 7 const double confidence = 0.995 8 )

参数详解:

srcPoints    源平面中点的坐标矩阵,可以是CV_32FC2类型,也可以是vector<Point2f>类型
dstPoints    目标平面中点的坐标矩阵,可以是CV_32FC2类型,也可以是vector<Point2f>类型
method       计算单应矩阵所使用的方法。不同的方法对应不同的参数,具体如下:
0 - 利用所有点的常规方法
RANSAC - RANSAC-基于RANSAC的鲁棒算法
LMEDS - 最小中值鲁棒算法
RHO - PROSAC-基于PROSAC的鲁棒算法
ransacReprojThreshold
将点对视为内点的最大允许重投影错误阈值(仅用于RANSAC和RHO方法)。如果

则点被认为是个外点(即错误匹配点对)。若srcPoints和dstPoints是以像素为单位的,则该参数通常设置在1到10的范围内。

mask
可选输出掩码矩阵,通常由鲁棒算法(RANSAC或LMEDS)设置。 请注意,输入掩码矩阵是不需要设置的。

maxIters RANSAC 算法的最大迭代次数,默认值为2000。
confidence 可信度值,取值范围为0到1.

首先定义两个vector保存对应的4对点

 1 //图片映射矩阵把不同角度的图片矫正
 2 void findHomographyText(){
 3 
 4     // Read source image.
 5     Mat src = imread("F:\\视觉\\opencv\\pic\\1.png");
 6     // Four corners of the book in source image
 7     vector<Point2f> pts_src;
 8     pts_src.push_back(Point2f(0, 0));
 9     pts_src.push_back(Point2f(src.cols, 0));
10     pts_src.push_back(Point2f(src.cols, src.rows));
11     pts_src.push_back(Point2f(0, src.rows));
12 
13     // Four corners of the book in destination image.
14     vector<Point2f> pts_dst;
15     pts_dst.push_back(Point2f(0, 0));
16     pts_dst.push_back(Point2f(src.cols/4, 0));
17     pts_dst.push_back(Point2f(src.cols/3, src.rows));
18     pts_dst.push_back(Point2f(0, src.rows/2));
19 
20     // Calculate Homography
21     Mat h = findHomography(pts_src, pts_dst);
22 
23     // Output image
24     Mat im_out;
25     // Warp source image to destination based on homography
26     warpPerspective(src, im_out, h, src.size());
27 
28     // Display images
29     imshow("Source Image", src);
30     imshow("Warped Source Image", im_out);
31 
32     waitKey(0);
33 
34 }

结果如下图所示对图像进行拉伸

步骤如下

1,相求H 

 1 vector<Point2f> pts_src;
 2     pts_src.push_back(Point2f(0, 0));
 3     pts_src.push_back(Point2f(src.cols, 0));
 4     pts_src.push_back(Point2f(src.cols, src.rows));
 5     pts_src.push_back(Point2f(0, src.rows));
 6 
 7     // Four corners of the book in destination image.
 8     vector<Point2f> pts_dst;
 9     pts_dst.push_back(Point2f(0, 0));
10     pts_dst.push_back(Point2f(src.cols/4, 0));
11     pts_dst.push_back(Point2f(src.cols/3, src.rows));
12     pts_dst.push_back(Point2f(0, src.rows/2));
13 
14     // Calculate Homography
15     Mat h = findHomography(pts_src, pts_dst);

通过H求对应的图像(映射到输出图片上)

warpPerspective(src, im_out, h, src.size());
warpPerspective:通过H求取

im_out输出值介绍完两个主要的函数下面开始对图像进行识别和标记

2,SURF对图像的识别和标记

1,开发思路

(1)使用SIFT或者SURF进行角点检测,获取两个图像的的角点集合

(2)根据两个集合,使用特征点匹配,匹配类似的点 FlannBasedMatcher

(3)过滤特征点对。

(4)通过特征点对,求出H值

(5)画出特征区域

代码实现:

1,使用SIFT或者SURF进行角点检测,获取两个图像的的角点集合

 1 src = imread("F:\\视觉\\opencv\\pic\\11.png");//读图片
 2 src3 = imread("F:\\视觉\\opencv\\pic\\5.png");//读图片
 3 
 4 int minHessian = 400;
 5     cvtColor(src, src, COLOR_BGR2GRAY);
 6     cvtColor(src3, src3, COLOR_BGR2GRAY);
 7 
 8     Ptr<SIFT> detector = SIFT::create(minHessian);
 9     vector<KeyPoint> keypoints_obj;//图片1特征点
10     vector<KeyPoint> keypoints_scene;//图片2特征点
11     Mat descriptor_obj, descriptor_scene;
12 
13     //找出特征点存到keypoints_obj与keypoints_scene点集中
14     detector->detectAndCompute(src, Mat(), keypoints_obj, descriptor_obj);
15     detector->detectAndCompute(src3, Mat(), keypoints_scene, descriptor_scene);
16 
17     // matching 找到特征集合
18     FlannBasedMatcher matcher;
19     vector<DMatch> matches;
20     matcher.match(descriptor_obj, descriptor_scene, matches);

2,过滤相似度高的图像

 1 // find good matched points
 2     double minDist = 1000;
 3     double maxDist = 0;
 4 
 5     for (int i = 0; i < descriptor_obj.rows; i++) {
 6         double dist = matches[i].distance;
 7         if (dist > maxDist) {
 8             maxDist = dist;
 9         }
10         if (dist < minDist) {
11             minDist = dist;
12         }
13     }
14     printf("max distance : %f\n", maxDist);
15     printf("min distance : %f\n", minDist);
16 
17     vector<DMatch> goodMatches;
18     //过滤相同的点
19     for (int i = 0; i < descriptor_obj.rows; i++) {
20         double dist = matches[i].distance;//相识度
21         printf("distance : %f\n", dist);
22         if (dist < max(3 * minDist, 0.2)) {
23             goodMatches.push_back(matches[i]);
24         }
25     }

3,求出H

 1 vector<Point2f> obj;
 2     vector<Point2f> objInScene;
 3     for (size_t t = 0; t < goodMatches.size(); t++) {
 4         //把DMatch转成坐标 Point2f
 5         obj.push_back(keypoints_obj[goodMatches[t].queryIdx].pt);
 6 
 7         objInScene.push_back(keypoints_scene[goodMatches[t].trainIdx].pt);
 8     }
 9     //用来求取“射影变换”的H转制矩阵函数  X'=H X ,并使用RANSAC消除一些出错的点
10     Mat H = findHomography(obj, objInScene, RANSAC);

4,使用H求出映射到大图的点

1 vector<Point2f> obj_corners(4);
2     vector<Point2f> scene_corners(4);
3     obj_corners[0] = Point(0, 0);
4     obj_corners[1] = Point(src.cols, 0);
5     obj_corners[2] = Point(src.cols, src.rows);
6     obj_corners[3] = Point(0, src.rows);
7     //透视变换(把斜的图片扶正)
8     cout << H << endl;
9     perspectiveTransform(obj_corners, scene_corners, H);

5,在原图上画线段

1 Mat dst;
2     cvtColor(src3, dst, COLOR_GRAY2BGR);
3     line(dst, scene_corners[0], scene_corners[1], Scalar(0, 0, 255), 2, 8, 0);
4     line(dst, scene_corners[1], scene_corners[2], Scalar(0, 0, 255), 2, 8, 0);
5     line(dst, scene_corners[2], scene_corners[3], Scalar(0, 0, 255), 2, 8, 0);
6     line(dst, scene_corners[3], scene_corners[0], Scalar(0, 0, 255), 2, 8, 0);
7  
8  
9     imshow("Draw object", dst);

相似效果

posted on 2021-07-22 13:31  一杯清酒邀明月  阅读(1923)  评论(0编辑  收藏  举报