基于tesseract-OCR进行中文识别

1. 环境准备

1.1 下载

下载Tesseract-OCR安装包，地址为：

https://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-w32-setup-v4.0.0-beta.1.20180608.exe

参考链接：https://github.com/tesseract-ocr/tesseract

1.2 安装

双击安装，语言库部分选择math，chinese simplified.

1.3 添加环境变量

将Tesseract-OCR安装目录加入环境变量，

变量名TESSDATA_PREFIX

变量值F:\Program Files (x86)\Tesseract-OCR\tessdata

1.4 测试

将以下图片保存为test.jpg，然后放在E盘根目录下

在cmd窗口中执行 tesseract test.jpg test.txt –l chi_sim+eng（chi_sim是中文识别包，equ是数学公式包，eng是英文包），即可将图片中的文字识别出来，识别结果如下：

1.5 语言库

语言库地址为：https://github.com/tesseract-ocr/tessdata

将所需要的语言库下载下来，放在F:\Program Files (x86)\Tesseract-OCR\tessdata目录下

1.6 编译生成定制的字库

采用jTessBoxEditor 生成自己的字库。

1.6.1 软件准备

首先需要安装java虚拟机10.0.2+jTessBoxEditor。

jTessBoxEditor下载地址：

https://sourceforge.net/projects/vietocr/files/jTessBoxEditor/

这里我们下载jTessBoxEditorFX-2.0.1.zip版本，带FX的版本，才支持中文字符编辑。

1.6.2 字库制作

字库制作具体步骤：

1.环境变量设置

解压jTessBoxEditorFX-2.0.1.zip，发现有tesseract-ocr文件夹，里面有tesseract.exe软件。因此我们要将系统中之前安装的tesseract软件卸载，将环境变量定位到当前tesseract-ocr所在文件夹。

此外还需要添加环境变量：TESSDATA_PREFIX，变量值指向

..\jTessBoxEditorFX\tesseract-ocr\tessdata

2.图片准备

我们希望制作一个数字字库，能够识别以下字体的数字。

我们将上面图片中的每一行保存成一个小图片。然后打开然后用java虚拟机打开jTessBoxEditorFX.jar。

选择 Tools -> Merge TIFF，打开对话框，选择训练样本所在文件夹，并选中所有要参与训练的样本图片，注意对话框中“文件类型”的选取：

点击 “打开” 之后弹出保存对话框，还是选择在当前路径下保存，文件命名为 “num_my.font.exp0.tif” ，格式只有一种 “TIFF” 可选:

点击 “保存” 之后在指定路径下生成所有样本的 “合并” 图片 chi_my.font.exp0.tif。

3.使用tesseract生成.box文件

在上一步骤中生成的 “num_my.font.exp0.tif” 文件所在路径下打开命令行程序，执行以下命名：

tesseract num_my.font.exp0.tif num_my.font.exp0 –l eng batch.nochop makebox

执行后，在当前路径下生成num_my.font.exp0.box文件。

使用jTessBoxEditor调整.box训练文件

“.box” 文件中记录了每个字符在图片上的位置以及识别出的内容，训练之前需要使用jTessBoxEditor调整字符的位置和内容。

打开 jTessBoxEditor ，点击 Box Editor -> Open ，打开步骤2中生成的 “num_my.font.exp0.tif” ，会自动关联到 “num_my.font.exp0.box” 文件：

右上角红色方框内分别可以调整字符的内容、位置、宽高等，不带 “FX”版本的jTessBoxEditor还可以直接在方框内输入具体的数值，但不支持中文字符！…… 带 “FX” 版本的jTessBoxEditor支持中文字符，但是竟然不可以在方框内直接输入数值，需要一下一下点击方框右边的三角框！

接下来我们需要对识别不对的地方进行调整。

比如图片中还在数字”8”的位置，但它识别成“9”了，因此这里我们需要点击Merge进行处理。同理，有的地方需要点击spilit，insert进行处理。

上图调整之后如下：

依次将5张所需要训练的图片都进行适当的调整。

调整所有样本后点击 File -> Save as 另存为调整后的 “.box” 文件或Ctrl + S 原地保存。这里我们原地保存。

4.使用echo命令创建字体特征文件

在cmd窗口中执行echo num_my 0 0 0 0 0>font_properties

执行完成之后，在当前文件夹下生成font_properties文件

也可以手动在该文件夹下建立一个名为 “font_properties” 的文件，这个文件没有后缀名称，输入内容 “font 0 0 0 0 0” ，表示字体 font 的粗体、倾斜等共计5个属性全都设置为0

注意：这里输入的 “font” 名称必须与 “chi_my.font.exp0.box” 中两个点号之间的 “font” 名称保持一致。

在tesseract训练语言包的过程中，jTessBoxEditor的作用就是调整（位置和内容）tesseract生成的 “.box”文件，这个文件中列出了每个字符在图片上的位置以及内容。

5.使用tesseract生成num_my.font.exp0.tr训练文件

在终端上执行以下命令：

tesseract num_my.font.exp0.tif num_my.font.exp0 nobatch box.train

执行后在当前文件夹下生成 num_my.font.exp0.tr训练文件。

6.生成字符集文件

在终端上执行以下命令：

执行之后在当前文件夹下生成 “unicharset” 文件。

7.生成数据字典

在终端上依次执行以下两条命令：

mftraining -F font_properties -U unicharset -O num_my.unicharset num_my.font.exp0.tr

cntraining num_my.font.expo.tr

会在当前目录下生成 4 个文件（inttemp、pffmtable、normproto、shapetable），需要手动修改名称，这里我们修改成num_my.inttemp、num_my.pffmtable、num_my.normproto、num_my.shapetable。

8.合并数据文件

在cmd窗口中执行以下命令,生成num_my.traneddata语言包文件

combine_tessdata num_my.

将num_my.traneddata文件放到\jTessBoxEditorFX\tesseract-ocr\tessdata目录下。

9.验证训练生成的语言包

在cmd窗口中执行以下命令：

Tesseract test2.png result –l num_my –psm 7

然后打开result.txt.即可看到识别结果，下图左边是test2.png图片，又图是识别结果。

参考链接：

https://blog.csdn.net/dcrmg/article/details/78233459?locationNum=7&fps=1

1.7 Leptonica编译

下载leptonica源码：http://www.leptonica.com/source/leptonica-1.76.0.tar.gz

安装cmake，打开cmake-gui，按下图进行配置

先点击configure，出现红色部分GIF,JPEG,TIFF,ZLIB都是leptonica所需要的图片识别库，这里我们不管他，再次点击Configure按钮进行编译就好了。

在generate生成的目录中，打开leptonica.sln

点击生成，默认生成的是dll文件，这里需要修改下，生成.lib文件

参考链接：https://blog.csdn.net/zzb4702/article/details/51760678

1.8 Tesseract 编译

1.8.1 下载&配置cppan

地址为：https://raw.githubusercontent.com/cppan/binaries/master/cppan-master-Windows-client.zip

解压该压缩包，将cppan所在目录添加到系统环境变量PATH

1.8.2 Tesseract源码下载

Tesseract源码地址为：https://github.com/tesseract-ocr/tesseract

1.8.3 Cmake下载

Cmake下载地址为：https://cmake.org/download/

1.8.4 Tesseract编译

打开cmd窗口，定位到tesseract目录，执行cppan命令，如下：

在tesseract目录下创建build目录，然后进入到build目录，执行cmake ..

如果出现如下错误

请将tesseract目录下的CMakeCache.txt删除，再重新cmake ..

该过程大概需要5分钟。

然后在build目录下生成vs2015的工程文件

打开tesseract.sln，然后点击生成，应该会报错

尽管有报错，但仍然会在tesseract\build\Debug目录下生成tesseract40d.lib库文件

参考链接：https://blog.csdn.net/naidoudou/article/details/70225849

如果需要生成x64的库文件，在tesseract的目录下，打开cmd窗口，执行以下命令（先要删除tesseract目录下的之前生成的CMakeList.txt缓存文件）：

下图是正在编译时的界面

然后打开tesseract.sln，编译生成库文件

参考链接：https://blog.csdn.net/pragma_g/article/details/79272271

1.8.5 另一种方法编译tesseract

修改tesseract的CMakeList.txt文件

指定leptonica的目录为图中所在目录

然后然后打开cmake-gui，点击configure，再点击generate，生成vs2015的工程

参考链接：https://blog.csdn.net/yazi1297/article/details/54706390

2. 项目开发

2.1 新建工程

打开Visual Studio2015，新建一个空项目，然后添加test.cpp文件，增加源代码如下：

#include <string>

#include <baseapi.h>

#include <publictypes.h>

#include "leptonica/allheaders.h"

#include <opencv2/opencv.hpp>

using namespace std;

using namespace cv;

int main(int argc, char* argv[])

{

string outText;

string imPath = "E://pictest//test.bmp";

// Create Tesseract object

tesseract::TessBaseAPI *ocr = new tesseract::TessBaseAPI();

Initialize OCR engine to use English (eng) and The LSTM

OCR engine.

There are four OCR Engine Mode (oem) available

OEM_TESSERACT_ONLY Legacy engine only.

OEM_LSTM_ONLY Neural nets LSTM engine only.

OEM_TESSERACT_LSTM_COMBINED Legacy + LSTM engines.

OEM_DEFAULT Default, based on what is available.

ocr->Init(NULL, "chi_sim+eng+equ", tesseract::OEM_DEFAULT);

// Set Page segmentation mode to PSM_AUTO (3)

// Other important psm modes will be discussed in a future post.

ocr->SetPageSegMode(tesseract::PSM_AUTO);

// Open input image using OpenCV

Mat im = cv::imread(imPath, IMREAD_COLOR);

// Set image data

ocr->SetImage(im.data, im.cols, im.rows, 3, im.step);

// Run Tesseract OCR on image

outText = string(ocr->GetUTF8Text());

// print recognized text

cout << outText << endl;

// Destroy used object and release memory

ocr->End();

return EXIT_SUCCESS;

}

2.2 工程配置

该工程选用的是OpenCV2.4，Tesseract4.0，Leptonica-1.76

2.3 编译运行

test.bmp原图为：

编译运行结果如下：

可见中文完全乱码

2.4 中文乱码

针对中文乱码情况，网上提供解决方案，UTF--->Unicode--->Ansi

在test.cpp中增加如下两个函数：

//utf-8转unicode

wchar_t * CIDcardRecogizeDlg::Utf_8ToUnicode(char* szU8)

{

//UTF8 to Unicode

//由于中文直接复制过来会成乱码，编译器有时会报错，故采用16进制形式

//预转换，得到所需空间的大小

int wcsLen = ::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), NULL, 0);

//分配空间要给'\0'留个空间，MultiByteToWideChar不会给'\0'空间

wchar_t* wszString = new wchar_t[wcsLen + 1];

//转换

::MultiByteToWideChar(CP_UTF8, NULL, szU8, strlen(szU8), wszString, wcsLen);

//最后加上'\0'

wszString[wcsLen] = '\0';

return wszString;

}

//将宽字节wchar_t*转化为单字节char*

char* CIDcardRecogizeDlg::UnicodeToAnsi( const wchar_t* szStr )

{

int nLen = WideCharToMultiByte( CP_ACP, 0, szStr, -1, NULL, 0, NULL, NULL );

if (nLen == 0)

{

return NULL;

}

char* pResult = new char[nLen];

WideCharToMultiByte( CP_ACP, 0, szStr, -1, pResult, nLen, NULL, NULL );

return pResult;

}

并修改main函数：

char* test1 = ocr->GetUTF8Text();

wchar_t* tempchar = Utf_8ToUnicode(test1);

char* resulttemp = UnicodeToAnsi(tempchar);

// outText = string(ocr->GetUTF8Text());