TSR交通标志检测与识别

 

TSR交通标志检测与识别 

说明：

传统图像处理算法的TSR集成在在ARM+DSP上运行，深度学习开发的TSR集成到FPGA上运行。

输入输出接口

Input：

（1）图像视频分辨率（整型int）

（2）图像视频格式（RGB，YUV，MP4等）

（3）摄像头标定参数（中心位置（x,y）和5个畸变

系数（2径向，2切向，1棱向），浮点型float）

（4）摄像头初始化参数（摄像头初始位置和三个坐标方向

的旋转角度，车辆宽度高度车速等等，浮点型float）

Output：

（1）BandingBox左上右下的坐标位置（浮点型float）

（2）Type类型：人，车，…，…    （整型int）

（3）执行度：是指判别目标物为某种类型的比率。

比如为人，车，…，…的比率。（浮点型float）

（4）需要遮挡目标区域的左上右下的坐标位置（浮点型float）

（5）摄像头与目标物距离     （浮点型float）

 

1. 功能定义

检测道路上的交通标牌，根据需要进行分类。

功能模块包括TSR的坐标位置，IOU比率，摄像头与TSR的距离等等。

（1）辅助驾驶。交通标志识别的概念最早就是作为辅助驾驶工具被提出的。TSR系统在识别交通标志后，客队驾驶员进行语音和视频等方式的提醒，甚至可以在必要时候对车辆驾驶系统直接做出控制，从而确保驾驶安全。

（2）交通标志维护。由于交通标志通常放置于室外环境中，受自然环境（如风吹雨淋）及人为因素（如涂抹）影响，难免出现褪色，变形甚至堕落失踪现象，需要进行定期检查维护。通常，这一工作需安排专人专岗，工作量巨大且很难保证实时性和准确性。显然，一个有效的TSR系统是完成这一工作的理想方案。

（3）无人驾驶。无人驾驶汽车在今年收到越来越多的关注。从上世纪90年代起，国内外相继研发出了一系列无人驾驶汽车，其智能化逐渐提高，能够自动规划路线，避让障碍物等。使无人驾驶汽车具备辨认交通标志的能力交通标志的能力显然是使其实用化的一个重要步骤。

 

2. 技术路线方案

组成结构

交通标志颜色外观

一般情况下交通标志颜色的基本含义如下：

a. 红色：表示禁止、停止、危险，用于禁令标志的边框、底色、斜杠，也用于叉形符号和斜杠符号、警告性线性诱导标的底色等。

b. 黄色或荧光黄色：表示警告，用于警告标志的底色。

c. 蓝色：表示指令、遵循，用于指示标志的底色；表示地名、路线、方向等行车信息，用于一般道路指路标志的底色。

d. 绿色：表示地名、路线、方向等行车信息，用于高速公路和城市快速路指路标志的底色。

e. 棕色：表示旅游区及景点项目的指示，用于旅游区标志的底色。

f. 黑色：用于标志的文字、图形符号和部分标志的边框。

g. 白色：用于标志的底色、文字和图形符号以及部分标志的边框。

h. 橙色或荧光橙色：用于道路作业区的警告、指路标志。

i. 荧光黄绿色：表示警告，用于注意行人、注意儿童警告标志。

交通标志的形状一般使用规则如下：

a. 正等边三角形：用于警告标志；

b. 圆形：用于禁令和指示标志；

c. 倒等边三角形：用于“减速让行”禁令标志；

d. 八角形：用于“停车让行”禁令标志；

e. 叉形：用于“铁路平交道口叉形符号”警告标志：

f. 方形：用于指路标志，部分警告、禁令和指示标志，旅游区标志，辅助标志，告示标志灯。

交通标志照明标识

a） 内部照明标志

标志板内装照明装置，采用半透明材料制作标志面板，有单面显示和两面显示两种。内部照明标志可根据标志板的大小，承受的风力进行结构设计。确保标志面照度均匀，在夜间具有150m 的视认距离。灯箱结构合理，金属构件经防腐处理，防雨防尘，电器元件耐久可靠，检修方便。

b） 外部照明标志

外部光源照亮标志面的方式。

外部照明标志的光源应进行专门设计。照明灯具及其影阴不能影响标志认读。外部光源在标志面上的照度不得有明显不均匀，均匀度（最大照度/最小照度）须在4 以下，确保在夜间具有150m 的视认距离。外部照明光源不能给路上司机造成眩目。

支撑灯具的构件应进行防锈处理，照明器件耐久可靠，性能优良，检修方便。

交通标志板可采用铝合金板、挤压成型的铝合金型材、薄钢板、合成树脂类板材等制造，所用材料应符合现行《公路交通标志板》( TI'/T 279 )的规定，厚度应根据计算确定。

交通标志支撑结构

(1)交通标志立柱、横梁等可采用钢管、H型钢、槽钢及钢筋混凝土等材料制作，钢管顶端应设置柱帽。钢构件应进行防腐处理。

(2)交通标志应设置钢筋混凝土基础，位于桥梁段的单柱式交通标志可采用钢结构附着在桥梁上。

结构设计

1）设计基本风速应采用当地平坦空旷地面，离地面lOm高，重现期为50年lOmin平均最大风速值，并不得小于22m/s。

2）交通标志结构应按承载能力极限状态和正常使用极限状态进行设计，并应同时满足构造和工艺方面的要求。

3）交通标志的结构重要性系数可分为两个等级:

(1)位于高速公路、一级公路七的悬臂式、门架式交通标志，结构重要性系数

(2)位于高速公路、一级公路上的其他类型的交通标志及位于其他等级公路上的交通标志，结构重要性系数Y=0.9。

4）交通标志结构的荷载计算与组合、极限状态设计方法、地基基础的设计应符合现行《公路桥涵设计通用规范》( JTC D60 )、《公路桥涵地基与基础设计规范》(JTJ 024)、《钢结构设计规范》(JB 50017)和《道路交通标志和标线》( JB 5768)等的规定。

交通标志制作材料

(1)公路交通标志板均应采用符合现行《公路交通标志反光膜》(GB/T 18833)要求的反光膜或其他逆反射材料制作。

(2)交通标志板采用反光膜材料时，高速公路、一级公路上宜采用一、二级反光膜，二、三级公路的交通标志宜采用三、四级反光膜，四级公路宜采用四、五级反光膜。

(3)门架、悬臂型等悬空类交通标志，宜采用比路侧交通标志等级高的反光膜。

(4)在保证均匀性和条件容许时，可以采用照明或发光二极管增加重要标志的视认效果。

a） 反光材料的种类及性能

用于标志面的反光材料按其结构的不同可以分为透镜埋入型、密封胶囊型、微棱镜型等品种。其反光原理为：射向标志面的光线应沿入射光线的反方向反回光源。由于标志位置和车辆行驶条件的不同，用于标志面的反光材应具有优良的广角性和逆反射性能。在不同入射角（汽车前照灯光线与标志表面法线之间的夹角）、不同观测角（汽车前照灯光线与标志反射回驾驶者眼睛的光线间的夹角）的条件下，用于标志面的反光膜的逆反射系数值应符合JT/T279 的规定。

b） 反光材料的应用与选择

1） 各级道路的交通标志原则上均应采用反光材料制作标志面。

2） 高速公路、一级公路及城市主干路的交通标志宜采用一~三级反光膜；二、三级公路及一般城市道路的交通标志宜采用四级以上的反光膜。四、五级反光膜可用于四级公路和交通量很小的其他道路。

3） 高速公路、一级公路、城市快速路上的曲线段标志，及城市地区的多路交叉路口，宜采用三级以上反光材料。

4） 高速公路、城市快速路上的门架标志和悬臂标志，为获得与路侧标志相当的反光效果，宜选用比路侧标志所用反光膜等级为高的反光材料，或把门架标志和悬臂标志上的字符改用反射器，以改善其夜间视认性。在有条件的重要路段，也可采用照明标志。

c） 交通标志的颜色规定及参考相关色样。

交通标志技术要求

交通标志指导思想

1）交通标志应体现公路及周边路网的特点，使驾驶员准确确定自己所处的位置、找到正确的目的地，并对路网中的交通量进行合理分配;

2）交通标志应能加强驾驶员安全行车的意识;

3）交通标志应容易识别、易于理解;

4）交通标志的设置应系统、连续、均衡、避免信息过载;

5）动态交通标志的设置不应妨碍静态交通标志的使用。

6）收集公路的道路、交通、气象、环境及周边路网等基础资料;

7）确定公路交通标志的实施标准、规模;

8）从安全、环保、技术、经济、美观等方面进行方案比较，选择最佳方案。

交通标志设置原则

1）公路交通标志的设置，应以不熟悉

 

 

 

图1. 交通标志设置

 

周围路网体系的公路使用者为设计对象，综合考虑周边路网与公路条件、交通条件、气象和环境条件等因素，制定合理的设置标准，根据各种交通标志的功能和驾驶人员的行为特征进行合理设置。

2）对二级及以上等级的公路和其他等级的国、省道公路应优先设置指路标志，其他公路或未设置相关指路标志的公路，经论证可设置必要的警告标志。禁令标志应设置在交通法律、法规发生作用的地点附近醒目的位置，并应避免与其他交通标志的互相影响。限速标志应根据不同路段的通行能力、车型构成比例、车辆的运行速度等分段进行设置。

3）在选择路网中指路标志标示的目的地信息时，应根据路网密度、公路等级、公路功能、目的地知名度等进行统一考虑。不同种类的交通标志信息应互相呼应，不得出现信息中断。

4）交通标志沿公路纵、横向设置的位置应符合现行《道路交通标志和标线》( GB5768)的规定。位于高速、一级公路路侧安全净区内的交通标志应根据标志结构规格采用解体消能结构或设置护栏加以防护，位于其他公路路侧安全净区内的交通标志宜进行必要的诱导。

5）公路交通标志的任何部分不得侵入公路建筑限界以内，路侧柱式交通标志的安装高度应考虑其板面规格、所在位置的线形特点和地形特征、是否有行人通行等因素，悬臂、门架式等悬空标志净空高度应较公路净空预留20-50cm的余量。

6）交通标志安装时，标志板面的法线应与公路中心线平行或成一定角度。路侧安装的禁令标志和指示标志为0°-45°，指路标志和警告标志为0°-10°。悬臂、门架或附着式悬空标志安装时，标志的安装角度应与道路中心线垂直或前倾0°-10°。

交通标志设计原则

(1)应正确处理颜色、文字、箭头、编号、图形及边框的关系，使标志版面清晰、美观;

(2)同类交通标志应采用同一类型的标志版面;

(3)门架式交通标志的各交通标志板宜统一高度、统一边框规格。

交通标志主要种类

交通标志的支撑方式可分为柱式、悬臂式、门架式、附着式四种。

交通标志支撑方式应根据交通量、车型构成、车道数、沿线构造物分布、

 

 

 

图2. 实际交通标志示例

 

支撑方式

风荷载大小以及路侧条件等因素综合确定。

(1)警告、禁令、指示标志和小尺寸指路标志宜采用单柱式支撑方式，中、大型指路标志可采用双柱或多柱式支撑方式。

(2)当符合下列条件时，根据需要可采用悬臂式或门架式等悬空支撑方式(版面内容少时，宜采用悬臂式):

①交通量达到或接近设计通行能力时;

②互通式立交的设计很复杂时;

③单向有三个或三个以上车道时;

④互通式立体交叉间距较近时;

⑤出口为多车道时;

⑥大型车辆所占比例很大时;

⑦穿越多个互通式立体交叉、为保持标志信息设置位置的一致性时;

⑧路侧安装空间不足或受遮挡时;

⑨连接两条高速公路之间的枢纽互通时;

⑩出口匝道为左向出口时;

⑧平面交叉口标志或位于互通式立体交叉减速车道起点处的出口预告标志。

(3)公路沿线设置有上跨天桥等构造物，路侧设置有高挡土墙、照明灯杆等时，交通标志在满足公路建筑限界要求的前提下，可以采用附着式支撑方式。

交通标志技术标准

交通标志采用的颜色、形状、图形符号应符合现行《道路交通标志和标线》(GB5768)的规定。

交通标志箭头规定

指路标志上使用的箭头应以一定角度反映车辆的正确行驶方向。

(1)门架式标志或跨线桥上附着式标志的箭头，用来指示车道的用途或行驶目的地时，箭头应向下，并指向该车道的中心线;用来指示出口方向时，箭头应倾斜向上，倾斜角度应能反映出口车道的线形。

(2)路侧安装的指路标志，表示直行方向的箭头应指向上方，表示转向方向的箭头应与转向车道的线形保持一致。同时出现向上和向左、向右的三个箭头时，指向右侧的箭头应放置在最右侧，指向上、左的箭头应放置在最左侧。

(3)箭头可以放置在主要标志文字的下方，或文字一侧的适当部位。

交通标志文字规定

公路的指路标志应采用汉字，根据需要可与其他文字并用。当标志采用中、英两种文字时，地名应用汉语拼音，专用名词应用英文。因版面规格限制时，部分英文可以采用缩写。

交通标志尺寸规定

警告、禁令、指示标志的板面尺寸和指路标志的文字高度，应由公路的设计速度决定，指路标志的板面尺寸，还应考虑字符数量、图形符号、其他文字和版面美化等因素，其他文字与汉字高度的关系，地点应放在最左侧，地名由近而远、从上到下排列。如果几个独立的标志板组成一组，则各板的长度应相同。地点、方向标志中，直行标志应设置在最上部，其下为向左、向右可以到达的地点。

当路段运行速度与设计速度之差大于20}n/h时，宜按运行速度对交通标志的版面规格及视认性加以检验。

交通标志有效功能

交通标志的设置应考虑人的行为特征。人的行为在交通工程和道路安全中的作用主要表现在视觉信息、信息需求、信息处理等三个方面。

视觉信息

据估计，驾驶员在驾驶车辆行驶时所需要的信息中，占90%的为视觉信息。人的视觉特征如视野的深度、宽度，眼睛的移动、色彩的识别、亮度和眩光的影响、速度的判断等，是交通标志设置的基本考虑要素。

信息需求

对公路使用者来说，几乎所有的信息都是通过视觉的传递接收的，因此设置交通标志时，应注意其显著性、易理解性、可信性和定位性。

信息处理

驾驶员的驾驶任务包括获取信息、处理信息、选择行动方案、实施行动方案，并通过重复这一

过程来观察决策的结果。

由于人的行为的局限性和驾驶员、车辆和公路环境之间的关系使得上述过程非常复杂。设置交通标志时，还应考虑驾驶员的预期值、反应时间和短期记忆等特征。只有充分考虑公路使用者的行为特征，交通标志的设置才具有有效性。

本条所指的“不熟悉周围路网体系的公路使用者”并不是说公路使用者对周围环坛无所知，而是指通过地图或其他查询手段，对前往的目的地和途经路线有所了解，然后肋交通标志的指引能够顺利抵达目的地。

相关制作

图案

交通标志必须严格按本标准规定的图案按比例放大制作，不得任意修改图案。

参数

交通标志形状、尺寸、图案、文字应符合本标准的规定。标志板的制作应符合JT/T 279的有关规定。

检测

厂商生产的交通标志需经持有CMA 标志的国家计量认证单位检测。

交通标志作用

（1）有利于调节交通流量、疏导交通，提高道路通行能力

（2）预示道路状况，减少交通事故

（3）节约能源，减少污染物

 

汽车安全系统的交通标志识别系统，英文翻译为：Traffic Sign Recogni- tion，简称TSR，是利用前置摄像头结合模式，可以识别常见的交通标志（限速、停车、掉头等）。这一功能会提醒驾驶员注意前面的交通标志，以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能，避免了违法左转或者无意的其它交通违法行为，从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法，根据不同地区的交通标志来进行调整。

 

 

图3.  告知限速、禁止超车信息，提高驾驶过程中的安全性及安心感

 

有了TSR交通标识智能识别系统，能瞬间鉴别各种交通标识，并进行显示，提醒限速、禁止超车等行车信息。违章越来越少，安全越来越高。

交通标志识别系统一般包括检测和识别两部分。检测一般是利用交通标志的形状和颜色特征，从自然场景中把交通标志提取出来。识别是把检测出来的交通标志的内容识别出来。交通标志识别在规范交通行为、确保安全驾驶等方面具有重要的意义。交通标志通常处于室外复杂的环境条件下，识别的过程中容易受环境光照、方向旋转的影响。

 交通标志识别系统是智能交通系统与先进辅助驾驶系统的重要组成部分，提高交通标志检测与识别算法的准确率和实时性是走向实际应用进程中需要解决的关键问题。算法的准确率是交通标志识别研究中一个十分重要的因素，错误的识别结果不仅不能起到辅助驾驶作用，还会导致严重的安全事故。而算法的实时性决定了研究成果能否转化为具有实际应用价值的产品。在汽车数量日益增加、交通安全事故居高不下，要求不断提升汽车的驾驶智能化的现实压力面前，开展以实时应用为目标的交通标志检测与识别技术研究，对于增加驾驶安全具有重大的意义。

交通标志检测是进行交通标志分类的前提，同时还压缩了计算目标的空间，减少后续特征提取算法的运算量，还可以获得更高的识别准确率。在图像的特征提取领域，常见的特征提取与选择方法有：

    PCA主成分分析法

    Gabor特征提取算法

    SIFT特征提取算法

    SURF特征提取算法

    Haar小波特征提取算法/类Haar小波特征提取算法

    不变矩特征提取算法

直方图特征提取算法

交通标志分类与识别方法主要有：基于各种距离的模板匹配识别方法，基于大量数据样本的机器学习识别方法以及基于粒子群算法、遗传算法等智能算法的识别方法。

交通标志是一种图形与文字相结合的公共标识，用图形符号和文字传递特定信息，用以管理交通，指示行车方向以保证道路畅通与行车安全的设施。有很显著的颜色和形状特征，起到指示，禁止和警示等作用。适用于公路，城市道路以及一切专用公路，具有法令的性质，车辆，行人都必须遵守。

我国的交通标志有警告标志，禁令标志，指示标志，指路标志，指示标志，旅游去标志，作业区标志，告示标志，辅助标志8种。根据交通标志的颜色与形状的确定关系，我们可以对三种不同作用交通标志做进一步的分类，并且把颜色形状分类的结果作为先验知识用于交通标志的检测与识别中去。

1）禁令标志：起到禁止某种行为的作用。共有43种。禁止或限制车辆，行人交通行为的标志。除个别标志外，颜色为白底，红圈，红杠，黑图案，图案亚杠；形状为圆形，八角形，顶角朝下的等边三角形。设置在需要禁止或限制车辆，行人交通行为的路段或交叉口附近。如图27所示的禁令标志，红色在自然环境下比较少见，故以红色作为特征颜色检测禁令标志通常具有较好的效果。

2）警告标志：起警告作用。共有49种。警告车辆，行人注意危险地点的标志。颜色为黄底，黑边，黑图案，形状为顶角朝上的等边三角形。如图28所示的警告标志，由于外沿与图案的颜色均为黑色，某些图案面积较大的标志与外沿几乎相连，给检测带来一定困难。

3）指示标志：起指示作用。共有29种。指示车辆，行人行进的标志。颜色为蓝底，白图案；形状分为圆形，长方形和正方形；设置在需要指示车辆，行人行进的路段或交叉口附近。如图29所示的指示标志没有特定的外沿颜色，某些标志的图案几乎将蓝底分为了几个部分，给检测带来一定困难。

 

 

 
图4. 禁止标志

 

 

图5. 警告标志

 

 

 

图6. 指示标志

 

3. 关键技术参数和性能指标

交通标志识别实际上包括交通标志的检测和识别两个过程，检测是在图像中寻找到感兴趣目标并定位，识别是对感兴趣目标进行分类。现在R-CNN系列、YOLO、SSD能够很好的将检测和分类两个过程融合到一起，并且在PASCAL VOC等数据集上取得了很好的效果，但对像交通标志这种小目标的检测效果并不好。就交通标志检测而言，如果在Faster RCNN的anchor中，将scale调小一点，ratio调下再做训练，是可以很好的检测到图像中尺寸较小的交通标志；也可以训练级联CNN，将目标检测问题转化为分类问题。传统的检测方法中，可以人工设计特征来检测感兴趣目标，例如可以利用交通标志的颜色和形状等信息来检测并定位到交通标志；然后对检测到的标志进行识别或分类，判断它是哪种交通标志。