【论文速读】Cong_Yao_CVPR2017_EAST_An_Efficient_and_Accurate_Scene_Text_Detector
Cong_Yao_CVPR2017_EAST_An_Efficient_and_Accurate_Scene_Text_Detector
作者和代码
方法流程
该方法利用多层卷积神经网络提取图像特征,再利用该特征分别进行两个任务,像素点的分类,以及对应像素点的框的回归。最后将两个任务结果结合起来,并用非极大值抑制NMS来得到最终检测结果。
GroundTruth生成
点的分类任务,实际上是一个图像分割的任务。训练的时候,文字区域所在部分表示1,非文字的背景部分表示0,这样就能得到分类任务的groundTruth。为了对边界像素点可以更好的分类,这个方法对原有的检测框做了一点收缩,如图中黄色虚线框收缩成绿色框,这样边界像素点可以分类得更准确。
对于框的回归,首先需要确定的是如何来表示一个框。该方法提出了两种方式,一种是用四边形的4个顶点,每个顶点有x和y两个坐标,故8个坐标来表示,称为QUAD。这种表示方式模型的学习难度比较大。下面我们详细解说第二种表示方式RBOX。我们知道,对于任意一个固定点,如果确定该点到四条边的距离,那么就可以确定一个矩形框。如果再加上角度信息,那么这五个参数d1,d2,d3,d4,以及theta就能唯一确定一个带角度的矩形框。该方法正是采用这个方式得到框回归的GroundTruth。比如图中d图表示每个点的四个距离,e图表示对应的angle。
网络结构
该网络结构分为三部分,
第一部分是基础卷积神经网络模块,用来提取图像特征,由PVANet加4个conv stage组成;
第二部分是特征融合模块,采用类似于FPN的侧边连接方式来逐步将高层特征与低层特征进行融合;
第三部分是预测层,包括三个部分,一个是一通道的分类任务输出score map,另两个分别表示检测框。采用RBOX有5个通道,分别对应我们前面提到的d1,d2,d3,d4和角度theta。采用QUAD则表示采用4个点8个坐标来表示四边形,有八个通道。
损失函数
安装
tensorflow(>1.0) + 一些python工具包(requirements.txt)
pip install tensorflow
pip install -r requirements.txt
运行测试Demo
python ./eval.py \
--test_data_path=./test_images/ \
--gpu_list=0 \
--checkpoint_path=./models/ \
--output_dir=./results/
准备训练数据
训练流程
- Step1. 准备训练数据
- Step2. 下载Resnet预训练模型
- Step3. 修改训练参数,进行训练
python multigpu_train.py \
--gpu_list=2,3 \
--input_size=512 \
--batch_size_per_gpu=16 \
--checkpoint_path=./models/ICDAR15_512/ \
--text_scale=512 \
--training_data_path=./datasets/ICDAR15_train/ \
--geometry=RBOX \
--learning_rate=0.0001 \
--num_readers=24 \
--pretrained_model_path=./models/pretrained/resnet_v1_50.ckpt
代码分析和解读
关键代码文件说明
文件名 | 文件功能/函数说明 |
---|---|
data_util.py | 训练数据generator类封装(与数据并行、多线程相关) |
eval.py | 测试函数 |
model.py | 整个网络结构搭建、损失函数实现 |
icdar.py | 训练GroundTruth生成、数据处理、大部分工具函数实现 |
multigpu_train.py | 训练函数(主要涉及与tf相关的训练框架) |
nets/ | 包括resnet相关的网络结构搭建 |
lanms/和local_aware_nms.py | 与NMS相关的python函数、CPP源函数及编译相关 |
代码分析和解读
- model.py( model)
-
model.py (loss)
模型部分,除了结构,损失函数的实现也很重要。分类损失没有按照论文所说的交叉熵,而是使用了更简单的dice损失。代码和公式里的L_AABB是IOU的log损失。这边两个矩形框相交面积的计算,没有采用复杂的计算方式,而是直接用了简化的近似计算方式。该假设把交集部分近似为一个矩形,然后把点到相对的两条边的距离相加来计算矩形的宽和高,并用宽和高直接相乘来算相交面积。这个方法计算简单,实际是不太精确的,因为相交部分不一定是矩形,有可能是任意四边形,那么该计算方式就不是非常合理。可以把这部分代码换成自己的方法实现。
-
icdar.py(generate_rbox)
generate_rbox这个函数,对于整个训练数据生成非常重要。它的功能是把一个任意四边形转成包含四个顶点的最小外接矩形。该方法首先是以四边形的任意两个相邻的边为基础,求出包含四个顶点的最小平行四边形,总共有4个,然后选择面积最小的平行四边形,将其转换为矩形。如图中所示。灰色是初始的四边形,红色为对应的平行四边形,黄色是最后输出的矩形。这里的关键是第一步如何根据相邻两边来确定平行四边形。
- 单个平行四边形生成
这里我们假设要求的是以边(p0, p1)和边(p1, p2)作为参考边的平行四边形。边(p0, p1)设为edge,边(p1, p2)设为forward_edge,边p0和p3设为backward_edge。首先第一步,先求出点p2和p3到边edge的距离,求出比较大的那个点,图中p2距离更远,因此选择p2。然后过点p2做一条平行于边edge的直线,该边我们定义为edge_opposite。现在,我们就有了平行四边形的三条边,接下来了来画最后一条边。采用同样的方法对比点p0和p3到直线forward_edge的距离,选择距离更远的点,图中是p3,然后过点p3做直线平行于forward_edge,最后这条直线称为forward_opposite。到这里,四条边都画出来了,分别是edge,forward_edge,edge_opposite,和forward_opposite,最后根据直线的交点更新4个顶点位置。
-
对应代码说明
这里点、边的定义和刚才图中讲解的是一一对应的。Fit_line函数表示根据两点求直线,point_dist_to_line表示的是点到直线的距离。这个if条件判断的就是点p2还是p3到边(p0, p1)的距离哪个更大,然后取更大的点,过该点画平行直线,即为edge_opposite。
这个介绍的是刚才画最后一条边的方法。同样是判断点p0和点p3到边(p1,p2)的距离,取大的那个点,图中是p3,过p3画平行于边(p1,p2)的直线,最后根据直线的交点更新p0和p3,最终新的p0,p1,p2,和p3形成了最后的平行四边形。
方法亮点
- 提出一种新的框的表示方式(4个d+1个angle),并且对应的IOU Loss和角度的cos Loss
- 属于一种direct regression,没有anchor,而且是one-stage的方法,训练方便
- groundTruth的shrink方式也比较特别,对于边界像素学习更容易
实验结果
-
ICDAR2015
-
COCO-Text
- MSRA-TD500
- 速度
总结与收获
该方法因为比较早“开源”,所以用的人比较多。很多东西比如关于框的表示方式(4个d+1个angle),IOU-Loss以及cos-Loss对后来的方法都有借鉴和参考意义。