模式识别基础
一、模式识别的定义
关于模式识别(pattern recognition)的定义,首先要了解模式和识别分别是什么含义。有教材指出模式是指组成成分或影响因素间存在确定性或随机性规律的对象、过程或事件的集合。而识别是指把对象分门别类地认出来,也有解释是指以前见过,现在再次认出来。简而言之,模式识别是把对象根据其特征归到若干类别中适当的一类。因此,模式识别也称为模式分类。这里强调适当一词有缘由的,比如:根据一个人有胡子就把其归到男性一类,这里只能说分类是适当的,因为不排除少数女性也有少量胡子。
在正式介绍模式识别的方法、类型以及典型构成之前需要了解几个概念,
样本:一个个体对象
样本集:若干样本的集合
类:具有相同模式的样本集,该样本集是全体样本的子集
特征:也称为属性,通常指样本的某些可以用数值去量化的特征,如果有多个特征,则可以组合成特征向量
二、模式识别的主要方法
模式识别的主要方法有以下两种:
1.基于知识的方法
根据专家系统给出的关于研究对象的知识,整理出研究对象的特征与研究对象所属类别的关系,之后让计算机根据这个推理关系对未知对象进行分类。
2.基于数据的方法
在对研究对象没有一定了解或认识的情况下,收集一定数量的已知样本(即,类别是已知的),用这些样本作为训练集去训练分类器(也就是模式识别的机器),使其在训练后学习到分类经验,能对未知样本进行分类。这种分类是机器学习(machine learning)中研究较多的一个方向。整个过程可以用下图表示。
一定数量的已知样本yi经过特征选择与提取后得到一定数量的特征向量xi,基于数据的模式识别核心步骤就是利用一定数量的xi和对应的yi构成的数据对{(xi,yi)}作为训练样本去训练学习机器,从而建立从特征向量x判断样本类别y的一个数学模型,该模型的好坏与其各参数的取值有关,参数选得好,则最终预测未知样本类别的准确性就越高。
举个例子:假设分类器的数学模型是一个线性方程y=kx+b,则上述训练Learning Machine的过程就是通过给定一定数量的(x,y)去找出最合适的k与b的过程。
三、模式识别的两种类型
1.监督模式识别
特点是要划分的类别是已知的,并且能够获得一定数量的类别已知的训练样本。
这种情况下的机器学习的过程称为监督学习(有导师学习)。
2.非监督模式识别
特点是事先并不知道要划分的类别有哪些,甚至可能连要划分类别的数目也不知道,并且没有任何已知样本可以用来训练。
这种情况下要根据提取到的样本特征将样本聚成几个类,属于同一类的样本从某个角度上看具有一定的相似性,而不同类之间的样本差异则较大。这种机器学习的过程称为非监督学习(无导师学习),也成为聚类。
需要注意的是,在很多非监督模式识别中,聚类的结果不是唯一的,因为“相似”是从某个角度看上去的相似,这里的角度就是前面提到的特征。根据样本特征向量中的不同特征去聚类,会得到不同的结果。
举个例子:假设提取到的4个样本y1,y2,y3,y4的特征向量分别为
x1=(red,rounded,hollow)
x2=(red,rectangular,hollow)
x3=(blue,rounded,solid)
x4=(blue,rectangular,hollow)
若按特征向量的第一个特征(颜色)去聚类时,y1,y2聚为一类,y3,y4聚为一类;若按第二个特征(形状)去聚类时,y1,y3聚为一类,y2,y4聚为一类;若按第三个特征(空心/实心)去聚类时,y1,y2,y4聚为一类,y3自成一类。这很好的解释了聚类结果的非唯一性,这也是非监督模式识别与监督模式识别的一个重要差别。
四、模式识别系统的典型构成
一个模式识别系统的典型构成包括:预处理,特征选择与提取,分类或聚类,后处理四个主要部分。
适当的预处理可减少需要处理的数据量。比如在物体检测的某些方法中(如:HOG方向梯度直方图),可将图片处理为灰度图,丢掉不必要的颜色信息,同时减少了噪声,最终并不影响物体识别。