【论文速读】Cong_Yao_CVPR2017_EAST_An_Efficient_and_Accurate_Scene_Text_Detector

Cong_Yao_CVPR2017_EAST_An_Efficient_and_Accurate_Scene_Text_Detector

作者和代码

非官方版tensorflow实现

非官方版keras实现

支持长文本检测的keras改进版实现

方法流程

该方法利用多层卷积神经网络提取图像特征,再利用该特征分别进行两个任务,像素点的分类,以及对应像素点的框的回归。最后将两个任务结果结合起来,并用非极大值抑制NMS来得到最终检测结果。

GroundTruth生成

点的分类任务,实际上是一个图像分割的任务。训练的时候,文字区域所在部分表示1,非文字的背景部分表示0,这样就能得到分类任务的groundTruth。为了对边界像素点可以更好的分类,这个方法对原有的检测框做了一点收缩,如图中黄色虚线框收缩成绿色框,这样边界像素点可以分类得更准确。

对于框的回归,首先需要确定的是如何来表示一个框。该方法提出了两种方式,一种是用四边形的4个顶点,每个顶点有x和y两个坐标,故8个坐标来表示,称为QUAD。这种表示方式模型的学习难度比较大。下面我们详细解说第二种表示方式RBOX。我们知道,对于任意一个固定点,如果确定该点到四条边的距离,那么就可以确定一个矩形框。如果再加上角度信息,那么这五个参数d1,d2,d3,d4,以及theta就能唯一确定一个带角度的矩形框。该方法正是采用这个方式得到框回归的GroundTruth。比如图中d图表示每个点的四个距离,e图表示对应的angle。

网络结构

该网络结构分为三部分,

第一部分是基础卷积神经网络模块,用来提取图像特征,由PVANet加4个conv stage组成;

第二部分是特征融合模块,采用类似于FPN的侧边连接方式来逐步将高层特征与低层特征进行融合;

第三部分是预测层,包括三个部分,一个是一通道的分类任务输出score map,另两个分别表示检测框。采用RBOX有5个通道,分别对应我们前面提到的d1,d2,d3,d4和角度theta。采用QUAD则表示采用4个点8个坐标来表示四边形,有八个通道。

损失函数

安装

tensorflow(>1.0) + 一些python工具包(requirements.txt)

pip install tensorflow
pip install -r requirements.txt

运行测试Demo

python ./eval.py \
    --test_data_path=./test_images/ \
    --gpu_list=0 \
    --checkpoint_path=./models/ \
    --output_dir=./results/

准备训练数据

训练流程

python multigpu_train.py \
    --gpu_list=2,3 \
    --input_size=512 \
    --batch_size_per_gpu=16 \
    --checkpoint_path=./models/ICDAR15_512/ \
    --text_scale=512 \
    --training_data_path=./datasets/ICDAR15_train/ \
    --geometry=RBOX \
    --learning_rate=0.0001 \
    --num_readers=24 \
    --pretrained_model_path=./models/pretrained/resnet_v1_50.ckpt

代码分析和解读

关键代码文件说明
文件名 文件功能/函数说明
data_util.py 训练数据generator类封装(与数据并行、多线程相关)
eval.py 测试函数
model.py 整个网络结构搭建、损失函数实现
icdar.py 训练GroundTruth生成、数据处理、大部分工具函数实现
multigpu_train.py 训练函数(主要涉及与tf相关的训练框架)
nets/ 包括resnet相关的网络结构搭建
lanms/和local_aware_nms.py 与NMS相关的python函数、CPP源函数及编译相关
代码分析和解读
  • model.py( model)

  • model.py (loss)

    模型部分,除了结构,损失函数的实现也很重要。分类损失没有按照论文所说的交叉熵,而是使用了更简单的dice损失。代码和公式里的L_AABB是IOU的log损失。这边两个矩形框相交面积的计算,没有采用复杂的计算方式,而是直接用了简化的近似计算方式。该假设把交集部分近似为一个矩形,然后把点到相对的两条边的距离相加来计算矩形的宽和高,并用宽和高直接相乘来算相交面积。这个方法计算简单,实际是不太精确的,因为相交部分不一定是矩形,有可能是任意四边形,那么该计算方式就不是非常合理。可以把这部分代码换成自己的方法实现。

  • icdar.py(generate_rbox)

    generate_rbox这个函数,对于整个训练数据生成非常重要。它的功能是把一个任意四边形转成包含四个顶点的最小外接矩形。该方法首先是以四边形的任意两个相邻的边为基础,求出包含四个顶点的最小平行四边形,总共有4个,然后选择面积最小的平行四边形,将其转换为矩形。如图中所示。灰色是初始的四边形,红色为对应的平行四边形,黄色是最后输出的矩形。这里的关键是第一步如何根据相邻两边来确定平行四边形。

  • 单个平行四边形生成

这里我们假设要求的是以边(p0, p1)和边(p1, p2)作为参考边的平行四边形。边(p0, p1)设为edge,边(p1, p2)设为forward_edge,边p0和p3设为backward_edge。首先第一步,先求出点p2和p3到边edge的距离,求出比较大的那个点,图中p2距离更远,因此选择p2。然后过点p2做一条平行于边edge的直线,该边我们定义为edge_opposite。现在,我们就有了平行四边形的三条边,接下来了来画最后一条边。采用同样的方法对比点p0和p3到直线forward_edge的距离,选择距离更远的点,图中是p3,然后过点p3做直线平行于forward_edge,最后这条直线称为forward_opposite。到这里,四条边都画出来了,分别是edge,forward_edge,edge_opposite,和forward_opposite,最后根据直线的交点更新4个顶点位置。

  • 对应代码说明

    这里点、边的定义和刚才图中讲解的是一一对应的。Fit_line函数表示根据两点求直线,point_dist_to_line表示的是点到直线的距离。这个if条件判断的就是点p2还是p3到边(p0, p1)的距离哪个更大,然后取更大的点,过该点画平行直线,即为edge_opposite。

这个介绍的是刚才画最后一条边的方法。同样是判断点p0和点p3到边(p1,p2)的距离,取大的那个点,图中是p3,过p3画平行于边(p1,p2)的直线,最后根据直线的交点更新p0和p3,最终新的p0,p1,p2,和p3形成了最后的平行四边形。

方法亮点

  • 提出一种新的框的表示方式(4个d+1个angle),并且对应的IOU Loss和角度的cos Loss
  • 属于一种direct regression,没有anchor,而且是one-stage的方法,训练方便
  • groundTruth的shrink方式也比较特别,对于边界像素学习更容易

实验结果

  • ICDAR2015

  • COCO-Text

  • MSRA-TD500

  • 速度

总结与收获

该方法因为比较早“开源”,所以用的人比较多。很多东西比如关于框的表示方式(4个d+1个angle),IOU-Loss以及cos-Loss对后来的方法都有借鉴和参考意义。

posted @ 2018-11-13 21:43  lilicao  阅读(2612)  评论(0编辑  收藏  举报