[转]basler多相机拍照,通过opencv(3.4.1) svm 实时颜色分类(基于C++)

一、背景及实现效果介绍:

1.1背景简介

该示例基于工业4.0的项目,具体产线技术,流程这里就不多说了,主要说一下我负责的视觉那一块。视觉主要识别乐高积木,识别是否有积木,是什么颜色?(说到这里,估计有的人应该知道了我们这个工业4.0的东西了。)视觉这一部分主要工作是接收上位机给我的拍照命令,然后控制相机拍照并把识别结果返回给上位机,通讯采用c/s模式,其中相机有三个,收到拍照命令拍照,拍照时间随机。

1.2实现效果

要识别的积木原图如下(只选了两张作为代表,实际有多种情况):

 

       

然后上一张识别结果图吧,先看一下效果(另一张没保存,懒得再运行程序了):

 

这部分算是整个识别软件的核心,主要采用svm进行多分类,然后根据分类结果重新设置了像素的RGB,所以显示才想上图那样,目的是更易于观察结果。其中积木凸点反光点经过处理之后也基本能识别成要的结果,反光的部分就无能为力了,黄色积木和蓝色积木的反光区就被识别成了背景黑色,但总体来说这个分类结果还是比较满意的,已经能够很容易的得到要的结果了。

再来看看软件的界面吧

但是识别分类只是其中的一部分,要实现预期目标还要做很多东西,比如怎么同时打开三个相机(Basler GigE),而且保证准确拍照(我没记错的话opencv只能打开一个相机吧?所以这里也算是一个技术点了),然后是通讯,界面等等一系列问题。

第一部分主要是简介,所以先上一张程序运行截图吧

 

说一下这个界面,左侧是程序的界面(嗯,好像是有点卡通啊,萌萌哒,哈哈哈哈),界面上的文本是对应的三个相机。右侧打开的文本是生成的工作日志(作用我就不说了吧),文本文档随着视觉的软件启动而自动打开。如果相机拍照,会把照片显示在界面上,写这篇文章的时候不在现场,所以没有相机,没有拍照图片,但大致是介个样子滴:

 

(呃~~,没错,这个是我p上去的!)

 

然后说一下整个开发的过程吧,首先从哪里入手呢?是不是很懵?其实当时我也是很懵,因为有网路,有相机,有图像处理分类还有软件界面等等,所以我就思考了一下整个流程,然后大致写了一下要实现的功能,上图吧(初稿):

 

这个是当时的原稿,后来才发现这个东西用处很大,做事之前最好先有个这样的“草稿”,有一个规划,这样不仅让自己心里有谱,而且还能防止自己懵圈,比如做到一半了突然蒙圈了,不知道自己在干嘛了(不开玩笑,这是真的),然后看一下这个流程也能让自己做一个定位,知道自己在干嘛,或者下一步干嘛。我有时候也会犯迷糊,写着写着不知道自己在干嘛了,然后看看流程就知道我要干什么,或者下一步要干什么,然后为了实现这一步的功能,去想办法,如果这个方法不行,那能不能换个方法实现? 

现在回过头写文档,再把这个流程图给画一下吧:

 

首先初始化的东西有,界面,相机,svm训练,网络通讯,日志等等一系列东西;

接着是拍照,处理图片,再进行分类,中间有很多需要优化的东西,比如说一张图片保存下来10M+的大小,这无码高清大图不经过处理,那计算机得跑到什么时候才能给分完类呀?

好差不多流程弄完了,那接下来开始着手吧,理论上首先是解决网络的问题,测试通讯是否可行,这一块之前做过项目,能保证技术上可行,所以接下来开始先考虑相机吧。

二、多相机连接并保证可以拍照

背景已经介绍过了,这里再重新说一下相机这部分要实现的目标:三个相机(basler ,GigE接口),需要一直处于连接状态并保证独立随时拍照。

最开始的打算是用opencv打开相机:VideoCapture,但是后来发现这个没办法同时打开三个相机,只能打开一个相机,默认打开第一个先连接的相机,这里不多介绍了,具体想了解的话可以查资料。

后来继续查资料,发现basler有自己的SDK,可以自己开发相机,于是就装了pylon,接着就是一顿安装,配置环境(vs2013),然后看官网的sample,安装配置教程这里就不表述了,网上资料一查一大堆。

经过研究最后确定了一种可行的方案:通过匹配相机的mac,打开对应的相机。

流程图如下:

由于整个文件工程包含的东西比较多,而且相机的功能实现已经封装分布在工程的不同的类中,没办法完全给贴上来,所以只把核心代码给筛检之后贴了出来,如果有什么问题可以交流,下面是实现这些上述功能的核心代码:
 

  1 #include <pylon/PylonIncludes.h>
  2 // Namespace for using pylon objects.
  3 using namespace Pylon;
  4  
  5 // Namespace for using cout.
  6 //using namespace std;
  7  
  8 //这一句必须要
  9 PylonInitialize();
 10  
 11 //获得设备
 12 CTlFactory& tlFactory = CTlFactory::GetInstance();
 13  
 14  
 15 //声明设备信息对象,并设置信息
 16 //参数是绑定MAC地址信息
 17 CDeviceInfo Device_info_siasun_A,Device_info_siasun_B,Device_info_ROKAE;
 18 Device_info_siasun_A.SetFullName("Basler acA1300-60gc#0030532699C7#192.168.2.202:3956");
 19 Device_info_siasun_B.SetFullName("Basler acA1300-60gc#0030532699C6#192.168.2.144:3956");
 20 Device_info_ROKAE.SetFullName("Basler acA1300-60gc#0030532699C8#192.168.2.203:3956");
 21  
 22  
 23 //把信息添加到filter
 24 DeviceInfoList_t Device_filter_siasun_A, Device_filter_siasun_B, Device_filter_ROKAE;
 25 Device_filter_siasun_A.push_back(Device_info_siasun_A);
 26 Device_filter_siasun_B.push_back(Device_info_siasun_B);
 27 Device_filter_ROKAE.push_back(Device_info_ROKAE);
 28  
 29 //创建相机对象
 30 CInstantCamera Camera_siasun_A,Camera_siasun_B,Camera_ROKAE;
 31  
 32  
 33 //注意此处容易出现异常,打开相机异常
 34 //信息匹配,如果匹配成功,打开相机
 35 //连接并打开相机
 36 DeviceInfoList_t device_temp;
 37 if (tlFactory.EnumerateDevices(device_temp, Device_filter_siasun_A) > 0)
 38 {
 39     Camera_siasun_A.Attach(tlFactory.CreateDevice(device_temp[0]));
 40     Camera_siasun_A.Open();
 41 }
 42 if (tlFactory.EnumerateDevices(device_temp, Device_filter_siasun_B) > 0)
 43 {
 44     Camera_siasun_B.Attach(tlFactory.CreateDevice(device_temp[0]));
 45     Camera_siasun_B.Open();
 46 }
 47 if (tlFactory.EnumerateDevices(device_temp, Device_filter_ROKAE) > 0)
 48 {
 49     Camera_ROKAE.Attach(tlFactory.CreateDevice(device_temp[0]));
 50     Camera_ROKAE.Open();
 51 }
 52  
 53  
 54 //结果指针
 55 //相机拍完照片之后会先把数据存入内存中,这里是放入了CGrabResultPtr指针对象中
 56 CGrabResultPtr PtrGrabResult_siasun_A,PtrGrabResult_siasun_B,PtrGrabResult_ROKAE;
 57  
 58 //开始抓拍
 59 /*Camera_siasun_A.StartGrabbing(1);
 60 Camera_siasun_B.StartGrabbing(1);
 61 Camera_ROKAE.StartGrabbing(1);
 62 //等待并检测,100ms超时
 63 Camera_siasun_A.RetrieveResult( 100, PtrGrabResult_siasun_A, TimeoutHandling_ThrowException);
 64 Camera_siasun_B.RetrieveResult( 100, PtrGrabResult_siasun_B, TimeoutHandling_ThrowException);
 65 Camera_ROKAE.RetrieveResult( 100, PtrGrabResult_ROKAE, TimeoutHandling_ThrowException);
 66 */
 67 //1000ms超时
 68 //抓取一张图片
 69 Camera_siasun_A.GrabOne(1000,PtrGrabResult_siasun_A, TimeoutHandling_ThrowException);
 70 Camera_siasun_B.GrabOne(1000,PtrGrabResult_siasun_B, TimeoutHandling_ThrowException);
 71 Camera_siasun_ROKAE.GrabOne(1000,PtrGrabResult_siasun_ROKAE, TimeoutHandling_ThrowException);
 72  
 73 //****************接下来转换图片格式
 74 //创建格式转换对象
 75 CImageFormatConverter Format_converter_siasun_A,Format_converter_siasun_B,Format_converter_ROKAE;
 76 CPylonImage PylonImage_Temp_siasun_A,PylonImage_Temp_siasun_B,PylonImage_Temp_ROKAE;
 77  
 78 //设定转换格式
 79 Format_converter_siasun_A.OutputPixelFormat = PixelType_BGR8packed;
 80 Format_converter_siasun_A.OutputBitAlignment = OutputBitAlignment_MsbAligned;
 81  
 82 Format_converter_siasun_B.OutputPixelFormat = PixelType_BGR8packed;
 83 Format_converter_siasun_B.OutputBitAlignment = OutputBitAlignment_MsbAligned;
 84  
 85  
 86 Format_converter_ROKAE.OutputPixelFormat = PixelType_BGR8packed;
 87 Format_converter_ROKAE.OutputBitAlignment = OutputBitAlignment_MsbAligned;
 88  
 89  
 90 Format_converter_siasun_A.Convert(PylonImage_Temp_siasun_A, PtrGrabResult_siasun_A);
 91 Format_converter_siasun_B.Convert(PylonImage_Temp_siasun_B, PtrGrabResult_siasun_B);
 92 Format_converter_ROKAE.Convert(PylonImage_Temp_ROKAE, PtrGrabResult_ROKAE);
 93  
 94 好了,相机打开的问题解决了,接下来该处理图像了。(做个工程真的是要经历九九八十一难呀,好多莫名的bug)
 95 
 96 对,还有一个问题就是格式转换,我拍完照片之后是pylon的图片,需要转换成opencv需要处理的格式也就是Mat,最开始以为挺麻烦的,想着实在不行就先保存到磁盘上,然后再用opencv读取过来,后来发现这个一行代码就搞定了:
 97 
 98 //CPylonImage类图片
 99 CPylonImage PylonImage_Temp;
100 //把指针指向的缓存数据转换为CPylonImage类
101 Format_converter.Convert(PylonImage_Temp, PtrGrabResult);
102 //把CPylonImage类转换为Mat类,其实图片读取到内容中就是一堆数据(三通道为三维数组),转换的时候只需要把buffer都去过来就好了
103 Mat temp_grab = cv::Mat(PtrGrabResult->GetHeight(), PtrGrabResult->GetWidth(), CV_8UC3, (uint8_t *)PylonImage_Temp.GetBuffer());
104  
105 
106 三、opencv颜色分类
107 终于到重点了,这就是整个工程最核心的部分--颜色分类。其实颜色识别分类的方法有挺多的,我这里用了svm进行分类,主要也想了解一下机器学习的一些东西,为以后打点基础。
108 
109 其实opencv已经把机器学习的框架都做好了,我们只需要添加数据,训练模型,只不过中间可能需要再调一下参数就好。
110 
111 3.1添加数据及标签
112 
113 之前一直不知道怎么添加标签,耽误了很多时间,后来发现其实特别简单,就是把读取图片的数据(矩阵)直接添加成训练集就好了,同时要再加上对应的标签。
114 
115 需要注意的是svm训练数据的格式是CV_32FC1,而标签是CV_32SC1,所以在训练之前需要对数据进行处理一下,同时在predict的时候也需要处理。
116 
117 添加标签以红色和黄色为例:
118  
119 
120 //------------------红色训练数据--------------------------//
121 Mat red_roi_uf = imread("C:/Users/ncutl/Desktop/red.png");
122 //原图是CV_8UC3,例如255*255的像素,矩阵是255*255*3的矩阵,现在需要转换成,(255*255)*3的矩阵,格式为CV_32FC1
123 Mat red_roi_convert;
124 red_roi_uf.convertTo(red_roi_convert, CV_32FC1);
125 Mat red_roi_data(red_roi_convert.rows*red_roi_convert.cols, 3, CV_32FC1, red_roi_convert.data);
126 //生成对应的标签,红色标签为1
127 Mat red_label = Mat(red_roi_convert.rows*red_roi_convert.cols, 1, CV_32SC1, Scalar::all(1));
128  
129 //-------------------黄色训练数据--------------------//
130 Mat yellow_roi_uf = imread("C:/Users/ncutl/Desktop/yellow.png");
131 Mat yellow_roi_convert;
132 //转换
133 yellow_roi_uf.convertTo(yellow_roi_convert, CV_32FC1);
134 Mat yellow_roi_data(yellow_roi_convert.rows*yellow_roi_convert.cols, 3, CV_32FC1, yellow_roi_convert.data);
135 //黄色标签为2
136 Mat yellow_label = Mat(yellow_roi_convert.rows*yellow_roi_convert.cols, 1, CV_32SC1, Scalar::all(2));
137 //imshow("黄色", yellow_roi);
138  
139 //-----------------合并所有的样本点,作为训练数据----------------------//
140     Mat train_data, train_label;
141     vconcat(red_roi_data, yellow_roi_data, train_data);
142     vconcat(red_label, yellow_label, train_label);
143 3.2训练模型并调整参数
144 
145 训练模型其实就几行代码,需要做的就是改参数,使得分类最优。
146 
147 本例是使用多分类,参数及优化可以参考这篇文章:OpenCV中的SVM参数优化
148 
149 下边的参数是我已经调完之后的:
150 
151 
152  
153 // 设置参数
154  
155     Ptr<SVM> svm = SVM::create();
156     svm->setType(SVM::C_SVC);
157     svm->setKernel(SVM::POLY);
158     //svm->setNu(0.5);
159     svm->setGamma(100);
160     //svm->setC(100);
161     svm->setDegree(0.08);
162     svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 1e-6));
163  
164     // 训练分类器
165     Ptr<TrainData> tData = TrainData::create(train_data, ROW_SAMPLE, train_label);
166  
167     svm->train(tData);
168  
169  
170  
171     cout << "训练完成" << endl << endl;
172  
173 
174 3.3predict
175 
176 这部分代码适用于分类,遍历像素提取rgb的值进行格式转换,然后predict,根据分类结果把该点像素点替换成理想的红黄蓝绿和背景黑色。
177 
178 
179  
180 //设置颜色
181 Vec3b green(0, 255, 0), blue(255, 0, 0), red(0, 0, 255), yellow(0, 255, 255), black(0, 0, 0);
182 //分类颜色计数器
183 long red_numb = 0, yellow_numb = 0, green_numb = 0, blue_numb = 0, back_numb = 0;
184 Mat test_img=imread("C:\\Users\\ncutl\\Desktop\\samp.png");
185 //一个一个像素predict,这个缺点是太慢了
186 for (int i = 0; i < test_img.rows; i++)
187     for (int j = 0; j < test_img.cols; j++)
188     {
189         //部分用于格式转关,在上一步已经说过这个问题
190     Vec3b pixel = test_img.at<Vec3b>(i, j);
191         float a_t = pixel[0];
192         float b_t = pixel[1];
193         float c_t = pixel[2];
194         //cout << a_t << endl << b_t << endl << c_t << endl;
195         Mat sampleMat = (Mat_<float>(1, 3) << a_t, b_t, c_t);
196         int response = svm->predict(sampleMat);
197  
198         if (response == 1)
199         {
200             test_img.at<Vec3b>(i, j) = red; red_numb++;
201         }
202         if (response == 2)
203         {
204             test_img.at<Vec3b>(i, j) = yellow;
205             yellow_numb++;
206         }
207  
208         if (response == 3)
209         {
210             test_img.at<Vec3b>(i, j) = green;
211             green_numb++;
212         }
213         if (response == 4)
214         {
215             test_img.at<Vec3b>(i, j) = blue;
216             blue_numb++;
217         }
218         if (response == 5)//背景颜色
219         {
220             test_img.at<Vec3b>(i, j) = black;
221             back_numb++;
222         }
223  
224         }

 

 

最后执行完之后得到的结果如下所示:

3.4速度优化

前面说过,分类是单个像素分类,这样的缺点是速度太慢,而且拍摄的照片也是高像素的图片,所以提高速度非常必要。最后识别用的方法是先对原图进行采样,再设置ROI区域,这样的话速度会提高不少。

有许多其他方法可以检测颜色,速度会比较快,用svm的话应该有其他训练模型的方法,可以快速分类。

采样前后的时间对比如下(上边原图,下边采样之后):

时间缩短了有10倍之多,这一部分资源我上传了,文件包括分类cpp文件和测试图片,有需要可以下载:svm颜色分类

四、网络通讯

单网络通讯这一部分网上资源挺多的,也很简单。重要的是在程序运行时候需要单独开线程,防止阻塞,这一部分跟TCP的通讯方式有关。

4.1开辟新线程

网络通信是会有阻塞的,为了防止通讯占用主线程资源,需要开辟新线程处理通讯的程序,开辟新线程主要包括三部分,首先声明线程函数和指针,定义线程函数,最后启动新线程。下边以相机线程为例。

 1 //声明线程函数和指针
 2 CWinThread* pRecvThread_Connect_Camera = NULL;
 3 UINT RecvThread_Connect_Camera(LPVOID pParam);
 4 //这一句启动新线程
 5 pRecvThread_Connect_Camera = AfxBeginThread(RecvThread_Connect_Camera, this);
 6  
 7 //这一部分是线程函数
 8 UINT RecvThread_Connect_Camera(LPVOID pParam)
 9 {
10     //传递对话框的this指针
11     C视觉Dlg* pThis = (C视觉Dlg*)pParam;
12     /*
13     这里填写代码
14     */
15     return 0;
16     
17 }

 

 

4.2网络通讯

这一部分是tcp通讯,打开服务等待连接,如果有连接判断接收数据,然后根据接收数据执行相应代码就好。

 1 #include <stdio.h>    
 2 #include <winsock2.h> 
 3  
 4 #pragma comment(lib,"ws2_32.lib")  
 5  
 6 int main()
 7 {
 8     //初始化WSA    
 9     WORD sockVersion = MAKEWORD(2, 2);
10     WSADATA wsaData;
11     if (WSAStartup(sockVersion, &wsaData) != 0)
12     {
13         return 0;
14     }
15  
16  
17     //创建套接字    
18     SOCKET slisten = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
19     if (slisten == INVALID_SOCKET)
20     {
21         printf("socket error !");
22         return 0;
23     }
24  
25     //绑定IP和端口    
26     sockaddr_in sin;
27     sin.sin_family = AF_INET;
28     sin.sin_port = htons(4680);
29     sin.sin_addr.S_un.S_addr = inet_addr("192.168.2.211");// htonl(INADDR_ANY); //inet_addr("172.20.10.8");
30     if (bind(slisten, (LPSOCKADDR)&sin, sizeof(sin)) == SOCKET_ERROR)
31     {
32         printf("bind error !");
33     }
34  
35     //开始监听    
36     if (listen(slisten, 5) == SOCKET_ERROR)
37     {
38         printf("listen error !");
39         return 0;
40     }
41  
42     //循环接收数据    
43     SOCKET sClient;
44     sockaddr_in remoteAddr;
45     int nAddrlen = sizeof(remoteAddr);
46     char revData[255];
47     long linenum = 0;
48     while (true)
49     {
50         //printf("等待连接...\n");
51         sClient = accept(slisten, (SOCKADDR *)&remoteAddr, &nAddrlen);
52         if (sClient == INVALID_SOCKET)
53         {
54             printf("accept error !");
55             continue;
56         }
57  
58  
59         //printf("第%d次:\n", linenum);
60         //linenum++;
61  
62         //printf("接受到一个连接:%s :\r\n", inet_ntoa(remoteAddr.sin_addr));
63         //printf("/t/t");
64         //接收数据    
65         int ret = recv(sClient, revData, 255, 0);
66         if (ret > 0)
67         {
68             revData[ret] = 0x00;
69             printf(revData);
70         }
71         printf("\n");
72         //发送数据    
73         //char send[4] = { 1, 1, 1, 1 };
74         const char * sendData="";
75         if (revData[1] == '1')
76         {
77             sendData = "9999";
78             
79         }
80         
81         send(sClient, sendData, strlen(sendData), 0);
82         printf("发送结果:%s\n\n", sendData);
83         Sleep(100);
84         closesocket(sClient);
85     }
86  
87     closesocket(slisten);
88     WSACleanup();
89     return 0;
90  
91  
92 }
这个版本代码是网上的例程,但只能连接一个client,并且不能连续发送数据,可以适当修改使得可以连接多个client且连续发送数据。

目前核心的功能已经全部实现。

posted @ 2019-12-03 17:04  Parallax  阅读(917)  评论(0编辑  收藏  举报