基于Haar-like特征的层叠推进分类器快速目标检测

OpenCV学习笔记(二)基于Haar-like特征的层叠推进分类器快速目标检测

OpenCV学习笔记之二――基于Haar-like特征的层叠推进分类器快速目标检测
一、简介
目标检测方法最初由Paul Viola [Viola01]提出，并由Rainer Lienhart [Lienhart02]对这一方法进行了改善。该方法的基本步骤为： 首先，利用样本（大约几百幅样本图片）的 harr 特征进行分类器训练，得到一个级联的boosted分类器。
分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器， 这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。
分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。 为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。
目前支持这种分类器的boosting技术有四种： Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。
"boosted" 即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。
根据上面的分析，目标检测分为三个步骤：
1、 样本的创建
2、 训练分类器
3、 利用训练好的分类器进行目标检测。
二、样本创建
训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(例如人脸或汽车等)，反例样本指其它任意图片，所有的样本图片都被归一化为同样的尺寸大小(例如，20x20)。
负样本
负样本可以来自于任意的图片，但这些图片不能包含目标特征。负样本由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个负样本图片的文件名（基于描述文件的相对路径）。该文件必须手工创建。
e.g: 负样本描述文件的一个例子：
假定目录结构如下：
/img
img1.jpg
img2.jpg
bg.txt
则背景描述文件bg.txt的内容为：
img/img1.jpg
img/img2.jpg
正样本
正样本由程序craatesample程序来创建。该程序的源代码由OpenCV给出，并且在bin目录下包含了这个可执行的程序。
正样本可以由单个的目标图片或者一系列的事先标记好的图片来创建。
Createsamples程序的命令行参数：
命令行参数：
－vec <vec_file_name>
训练好的正样本的输出文件名。
－img<image_file_name>
源目标图片（例如：一个公司图标）
－bg<background_file_name>
背景描述文件。
－num<number_of_samples>
要产生的正样本的数量，和正样本图片数目相同。
－bgcolor<background_color>
背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。
－bgthresh<background_color_threshold>
－inv
如果指定，颜色会反色
－randinv
如果指定，颜色会任意反色
－maxidev<max_intensity_deviation>
背景色最大的偏离度。
－maxangel<max_x_rotation_angle>
－maxangle<max_y_rotation_angle>，
－maxzangle<max_x_rotation_angle>
最大旋转角度，以弧度为单位。
－show
如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。
－w<sample_width>
输出样本的宽度（以像素为单位）
－h《sample_height》
输出样本的高度，以像素为单位。
注：正样本也可以从一个预先标记好的图像集合中获取。这个集合由一个文本文件来描述，类似于背景描述文件。每一个文本行对应一个图片。每行的第一个元素是图片文件名，第二个元素是对象实体的个数。后面紧跟着的是与之匹配的矩形框（x, y, 宽度，高度）。
下面是一个创建样本的例子：
假定我们要进行人脸的检测，有5个正样本图片文件img1.bmp,…img5.bmp；有2个背景图片文件：bg1.bmp,bg2.bmp，文件目录结构如下：
positive
  img1.bmp
  ……
  Img5.bmp
negative
  bg1.bmp
  bg2.bmp
info.dat
bg.txt
正样本描述文件info.dat的内容如下：
Positive/imag1.bmp 1 0 0 24 28
……
Positive/imag5.bmp 1 0 0 24 28
图片img1.bmp包含了单个目标对象实体，矩形为（0,0,24,28）。
注意：要从图片集中创建正样本，要用－info参数而不是用－img参数。
－info <collect_file_name>
标记特征的图片集合的描述文件。
背景（负样本）描述文件的内容如下：
nagative/bg1.bmp
nagative/bg2.bmp
我们用一个批处理文件run.bat来进行正样本的创建：该文件的内容如下：
cd  e:\face\bin
CreateSamples   -vec e:\face\a.vec
 -info e:\face\info.dat
-bg e:\face\bg.txt
-num 5
-show
-w 24
 -h 28
其中e:\face\bin目录包含了createsamples可执行程序，生成的正样本文件a.vec在e:\face目录下。
三、训练分类器
样本创建之后，接下来要训练分类器，这个过程是由haartraining程序来实现的。该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。
Haartraining的命令行参数如下：
－data<dir_name>
存放训练好的分类器的路径名。
－vec<vec_file_name>
正样本文件名（由trainingssamples程序或者由其他的方法创建的）
－bg<background_file_name>
背景描述文件。
－npos<number_of_positive_samples>，
－nneg<number_of_negative_samples>
用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000;nNeg = 3000
－nstages<number_of_stages>
训练的阶段数。
－nsplits<number_of_splits>
决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。
－mem<memory_in_MB>
预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。
－sym（default）
－nonsym
指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。
－minhitrate《min_hit_rate》
每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。
－maxfalsealarm<max_false_alarm_rate>
没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。
－weighttrimming<weight_trimming>
指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9
－eqw
－mode<basic(default)|core|all>
选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。
－w《sample_width》
－h《sample_height》
训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。
一个训练分类器的例子：
同上例，分类器训练的过程用一个批处理文件run2.bat来完成：
cd e:\face\bin
haartraining -data e:\face\data
-vec e:\face\a.vec
-bg e:\face\bg.txt
-npos 5
-nneg 2
 -w 24
 -h 28
训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。
注：OpenCv 的某些版本可以将这些目录中的分类器直接转换成xml文件。但在实际的操作中，haartraining程序却好像永远不会停止，而且没有生成xml文 件，后来在OpenCV的yahoo论坛上找到一个haarconv的程序，才将分类器转换为xml文件，其中的原因尚待研究。

四、目标检测
OpenCV的cvHaarDetectObjects()函数（在haarFaceDetect演示程序中示例）被用来做侦测。关于该检测的详细分析，将在下面的笔记中详细描述。