OpenCV+TensorFlow实现自定义手写图像识别
完整版请点击链接：https://mp.weixin.qq.com/s/5gHXGmLbtO7m3dOFrDUiHQ 或微信关注“大数据技术宅”
继用TensorFlow教你做手写字识别（准确率94.09%）文章中，笔者给出了CNN模型的训练以及给出了一些数字图像进行效果测试，这篇文章，笔者将给出自己手写数字图像，并且对图像进行简单处理，用上一篇文章中训练的网络进行手写数字的识别。下边跟着笔者的步伐实现属于自己的数字图像识别。
工具要求
工具及环境要求如下，如果大家在安装TensorFlow过程遇到问题，可以咨询笔者一起探讨。
-
Python 2.7.14
-
TensorFlow 1.5
-
pip 10.0.1
-
linux环境
-
openCV 2.4.13.6
-
C++
数字图像素材准备
笔者画了两个手写字，如图1所示，读者可以自行绘制自己的手写字图像。
图1 手绘数字图片
手绘数字图像预处理
由于笔者训练的CNN网络的输入图像是28*28像素的，所以需要对手绘数字图像进行简单处理，转换成28*28的灰度图像。图像处理的工具用的是openCV，C++代码如下：
1#include <opencv2/core/core.hpp>
2#include <opencv2/highgui/highgui.hpp>
3#include <opencv2/imgproc/imgproc.hpp>
4#include "cv.h"
5#include <string>
6#include <stdio.h>
7using namespace cv;
8using namespace std;
9
10cv::Mat org,dst,img,tmp;
11void on_mouse(int event,int x,int y,int flags,void *ustc)//event鼠标事件代号，x,y鼠标坐标，flags拖拽和键盘操作的代号
12{
13 static Point pre_pt = cv::Point(-1,-1);//初始坐标
14 static Point cur_pt = cv::Point(-1,-1);//实时坐标
15 char temp[16];
16 if (event == CV_EVENT_LBUTTONDOWN)//左键按下，读取初始坐标，并在图像上该点处划圆
17 {
18 org.copyTo(img);//将原始图片复制到img中
19 sprintf(temp,"(%d,%d)",x,y);
20 pre_pt = Point(x,y);
21 putText(img,temp,pre_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255),1,8);//在窗口上显示坐标
22 circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);//划圆
23 imshow("img",img);
24 }
25 else if (event == CV_EVENT_MOUSEMOVE && !(flags & CV_EVENT_FLAG_LBUTTON))//左键没有按下的情况下鼠标移动的处理函数
26 {
27 img.copyTo(tmp);//将img复制到临时图像tmp上，用于显示实时坐标
28 sprintf(temp,"(%d,%d)",x,y);
29 cur_pt = Point(x,y);
30 putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));//只是实时显示鼠标移动的坐标
31 imshow("img",tmp);
32 }
33 else if (event == CV_EVENT_MOUSEMOVE && (flags & CV_EVENT_FLAG_LBUTTON))//左键按下时，鼠标移动，则在图像上划矩形
34 {
35 img.copyTo(tmp);
36 sprintf(temp,"(%d,%d)",x,y);
37 cur_pt = Point(x,y);
38 putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
39 rectangle(tmp,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//在临时图像上实时显示鼠标拖动时形成的矩形
40 imshow("img",tmp);
41 }
42 else if (event == CV_EVENT_LBUTTONUP)//左键松开，将在图像上划矩形
43 {
44 org.copyTo(img);
45 sprintf(temp,"(%d,%d)",x,y);
46 cur_pt = Point(x,y);
47 putText(img,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
48 circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);
49 rectangle(img,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//根据初始点和结束点，将矩形画到img上
50 imshow("img",img);
51 img.copyTo(tmp);
52 //截取矩形包围的图像，并保存到dst中
53 int width = abs(pre_pt.x - cur_pt.x);
54 int height = abs(pre_pt.y - cur_pt.y);
55 if (width == 0 || height == 0)
56 {
57 printf("width == 0 || height == 0");
58 return;
59 }
60 dst = org(Rect(min(cur_pt.x,pre_pt.x),min(cur_pt.y,pre_pt.y),width,height));
61 Mat dst02;
62 cv::resize(dst,dst02,Size(28,28));
63
64 imwrite("/home/openCV/mnist/temp.png",dst02);//注意将这里改为自己的处理结果存储地址
65 namedWindow("dst02");
66 imshow("dst02",dst02);
67 waitKey(0);
68 }
69}
70int main()
71{
72 org = imread("/home/openCV/mnist/ceshi8.jpg");//读取图片地址
73 org.copyTo(img);
74 org.copyTo(tmp);
75 namedWindow("img");//定义一个img窗口
76 setMouseCallback("img",on_mouse,0);//调用回调函数
77 imshow("img",img);
78 cv::waitKey(0);
79}
C++代码需要先编译，再运行，运行过程中如果遇到什么问题，欢迎读者跟笔者沟通，处理完之后图像如图2所示：
图2 预处理后手写图像
调用CNN网络对图像进行识别
用上一篇文章（用TensorFlow教你做手写字识别（准确率94.09%））部分，测试模型的代码，对处理过的手写图像进行识别，识别结果如图3所示：
图3 手写数字是被结果
通过笔者两篇手写数字识别文章的学习，相信动手尝试的读者已经对图像识别的流程有了简单的了解，在后续的图像识别系列文章中笔者会更加深入的介绍图像识别。图像识别的接下来两篇文章中笔者会用一篇讲解Faster R-CNN的原理，另一篇介绍Faster R-CNN的应用，并附上模型代码，预计要达到的效果如图4所示：
图4 图像识别效果
最后，笔者说一些题外话，本公众号运营到维护已经有近两个月时间，由于是笔者利用周末和业余时间所写，所以更新会比较缓慢，但笔者可以保证每周至少有一篇原创分享，并且保证本公众号不会存在任何商业行为，完全出于笔者爱好。希望想从事大数据及人工智能相关工作的读者与笔者互动交流，一块进步。
持续更新ing
