TechDay公开课实录:PaddlePaddle车牌识别实战和心得

车牌识别作为一种常见的图像识别的应用场景，已经是一个非常成熟的业务了，在传统的车牌识别中，可以使用字符分割+字符识别的方式来进行车牌识别，而深度学习兴起后，出现了很多端到端的车牌识别模型，不用分割字符，直接输入车牌图片即可识别出车牌字符。2019年1月5日百度深度学习线下技术公开课PaddlePaddle TechDay第一期演讲则邀请了百度认证布道师胡晓曼老师分享基于PaddlePaddle最新版本Fluid作用于车牌识别模型训练的实践。

以下为胡晓曼讲师的演讲实录：

PaddlePaddle Fluid和TensorFlow的设计理念有何不同？

执行流程不是“先定义再执行”，而是“先编译再运行”，通过写一个 Transpiler把Protobuf Message翻译成C++程序，然后用NCVV、ICC、GCC编译成二进制代码，可以直接运行在服务器和手机上。

抛弃静态图思想，采用Program设计思想，原始的Program在平台内部转换成ProgramDesc，python的Executor接收ProgramDesc后，传递给Transpiler，输出一段C++可执行的Program。

基于此，Fluid解释器极大的加快了执行Program的速度，PaddlePaddle Fluid运行速度也会更快。

按步骤来，你也能创造自己的车牌识别数据集

1.数据准备

数据准备是做训练的第一步，往往大家第一印象都是去网上下载车牌数据集，但是会有很多问题，如数据集不方便下载，大部分需要花钱等等。但其实除了收集真实场景的车牌数据，我们也可以自己用程序的方式生成车牌数据：

1.1生成车牌数据

1.1.1定义车牌所需字符

 

1.1.2生成中英文字符

一个车牌第一个字母都是中文，后面是英文和数据集合。 

 

1.1.3数据增强：添加畸变、噪音和模糊处理

字符生成后，需要对车牌数据进行一些数据增强，因为直接生成的数据是非常干净和清晰的车牌数据，跟真实场景的数据有一定差距，直接拿来用的训练结果会非常好，但是自然场景里，噪音、畸变、模糊等问题会影响真实图片的效果，最后实际应用依然达不到预期。因此，我们需要对这些数据进行畸变、噪音、模糊处理，尽量贴近现实场景的图片。

 

1.1.4生成车牌背景——加入背景图片，生成车牌字符串list和label，并存为图片格式。

车牌目前有蓝牌、绿牌、白牌、黑牌，常见的是蓝牌和绿牌，车牌数字搞定后需要加入背景图片，使其跟真实车牌更相近。 

 

1.1.5批量生成

生成字符后加入背景图片，用函数的使其可以批量生成，做测试最好生成数量越多越好，起码几十万张起。

 

1.2.6车牌生成效果

 

2.Fluid数据读取

支持两种传入数据的方式：

 

 以PythonReader同步读取方式为例（注：batch_size：Fluid中Tensor的第0维度固定为batch_size，在上面代码段中，图像输入x的形状为[3,32,32]，分别代表：channel数目，图像的高度和宽度。如果不指定batch_size，那么data算子会根据实际数据来推断batch_size的大小，如果需要自定义batch_size，就需要在第0维指定维度即可）：

 

3.Fluid网络模型

采用PaddlePaddle Fluid提供的vgg19模型来进行训练，完整代码请见：

https://github.com/huxiaoman7/PaddlePaddle_code/tree/master/plate_recognition

这个模型的好处是把vgg9所有的网络模型都写进去了。 

4.启动训练-参数初始化

启动训练的时候如何进行参数初始化，可以选择是否使用GPU。初始化完成后，需要把数据灌进来，启动数据模型并输入数据。

 

 

5.模型测试并输出日志

 

 打印日志

打印的日志，pass表示第一次迭代，batch表示第一次batch，Loss是第一次迭代，第一次迭代里面是98，acc是0.08，一直迭代到后面，loss值在不断的下降。Loss值不断下降可以画成一张图，根据它下降的幅度，可以帮助我们侦查这个模型训练是否有问题。

 保存模型

 

创建一个保存模型的路径，通过调用Fluidio这个模块，将这个模型保存下来。

6.预测模型

 

保存好的模型不一定要在这台机器上使用，在其他机器和容器里面，也是可以进行使用的。提前将这个网络和模型加载进来，放入测试数据，就可以进行测试，预测模型。

 

 预测结果（测试图片）

这张图片是预测的新能源的车牌图片，豫GD17926，预测之后把模型加载进来，测试图片，结果是豫GD17826，9变成8，没有想象中的效果好，原因是只迭代了2000次，没有迭代太多的时间，如果模型并没有完全收敛，大家可以在自主构建过程当中，增加迭代次数，看是否能够达到收敛的状态。当然，实际应用落地中，还是要看具体的业务场景。

 

 

最后，晓曼老师也根据自身经验，给初学者提出几点关于深度学习的建议：

1.不要过于追求高大上的模型和数学名词，做工业应用实践，要做好最基本的工作，不要深究理论；

2.不要随便调参，理论有助于我们懂得如何更快速、更高效调参，使其以最快的方式达到最优的状态；

3.不要只依赖机器，机器的资源是有限的，我们更应该考虑如何把模型进行性能优化，这样可以加速模型进行训练；

4.提高工程能力，多看代码，多写代码，论文多复现，以此提高自己的工程能力。