第一章 模式识别的相关概念学习笔记

1   相关概念

1.1  什么是模式？

可以被区分是否相似，存在于时间和空间中可观察的物体之中的信息。（模式不是事务本体，是从事物中获取的信息）

1.2  模式的直观特性

1. 可观察性
2. 可区分性
3. 可相似性

 

1.3  人与机器的模式识别能力对比

模式识别对于人和动物及其平常，对计算机却非常困难。

 

1.4  模式识别研究目的

利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。

 

1.5  模式识别系统的目标以及假说的定义

在特征空间和解释空间之间找到一种映射关系，这种映射关系也称之为假说。

• 特征空间：从模式得到的对分类有用的度量，属性或基本单元构成的空间。
• 解释空间：将C个类别表示为w_i∈Ω，i=1，2，...，C，其中欧米伽为所属类别的集合，称为解释空间。（所有类别的集合，因为所有类别是从特征空间被解释分类出来的，所以叫做解释空间）

1-1 关系图示

1.6  监督学习（概念驱动假说，归纳假说）

用已知的所属类别来训练样本集，按已知的类别的特征向量的分布来确定假说，并用此假说对新的模式样本分类。通常采用足够数量的具有典型的样本进行训练。（类别已知）

 

1.7  非监督学习（数据驱动假说，演绎假说）

没有先验知识，常采用聚类分析方法，用数学方法分析各特征向量之间的距离以及分散情况。若事先知道划分为几类，则可能获得更好的结果。（类别未知）。

 

1.8  半监督学习

监督学习和非监督学习相结合，将少量的标注样本和大量的未标注样本进行训练和分类。

主要的半监督学习有几种：

• 基于概率的方法。
• 在现有的监督学习上改进的方法。
• 直接依赖于聚类假设的方法。
• 基于多视图的方法。
• 基于图的方法。

 

 

1.9  模式分类的主要方法

1.9.1 数据聚类（非监督，数据驱动）

用某种相似性度量的方法将原始数据分类成各种数据集。

1.9.2 统计分类（监督，概念驱动）

用概率统计模型获取各类别特征向量的分布（基于一个类别已知的训练样本集），以此分类。

1.9.3 结构模式识别

分类：按照识别对象的各部分之间的联系来分类。

识别：通过计算一个匹配程度值来评估未知对象某些部分与范例的关系。

验证：制定出描述对象部分之间关系规则后，用句法模式识别来检查一个基本单元是否符合规则。

1.9.4 神经网络（监督和非监督）

起源：受人脑组织的生理学启发而创立

组成：一系列相互联系的，相同的单元。

增强/抑制的实现：调整神经元相互联系的权值。

 

1.9.5 增强学习

能够感知环境的机器人，通过学习选择能达到起目标的最优动作。

发出一个动作环境，环境状态改变反馈一个增强信号（奖励或惩罚）。

 

1.9.6 集成学习

联合训练多个弱分类器，通过集成策略将弱分类器组合使用。

通常比单个弱分类器效果更好

 

1.9.7 深度学习

通过层次化模型结构，从低层的原始特征逐渐抽象出高层次的语义特征，以发现更高效，灵活的特征表示。

1.9.8 元学习

用以往的经验来指导新任务的学习，具有学会学习的能力。

 

1.9.9 多任务学习

共享相关任务之间的表征，联合训练多个学习任务的学习范式。

 

1.9.10 多标记学习

其训练集中的每个样本可同时存在多个真实类标。

 

1.9.11 对抗学习

通过输入恶意的数据来学习算法或模型得到错误的结果，暴露机器学习算法存在的脆弱性，针对此方面来改进，使得其能适应更复杂的环境。

 

 

1.10  模式识别的基本构成

1.10.1 数据获取

用计算机可以运算的符号来表示所研究的对象，如二维图像，一维波形，物理参量和逻辑值。

1.10.2 预处理单元

去噪声，对图像进行修复。

1.10.3 特征提取和选择

对原始数据进行变换，得到最能反映分类本质的特征。

 

1.10.4 模式表示

维数较高多的测量空间 -->  维数较低的特征空间。

• 测量空间：原始数据组成的空间。
• 特征空间：分类识别赖以进行的空间。

 

1.10.5 分类决策

在特征空间中用模式识别方法把被识别对象归为某一类。

基本做法：在样本训练集基础上确定一个判别规则，使得错误识别率最小。

 

 

1.11  模式分类器的获取和测评过程

数据采集->特征选取->模型选择->训练和测试->计算结果和复杂度分析反馈

• 训练集：一个已知的样本集，用于监督学习中获取判别函数。
• 测试集：没有参与训练的样本集合。
• 系统评价原则：用一组测试集对系统进行测试。

 

1.12  模式识别的相关案例

1.12.1 统计模式识别

待识别模式：性别

测量的特征：身高和体重

训练样本：15个已知性别样本

目标：借助训练样本的特征建立判断函数

 

步骤

1.确定判别函数：根据身高体重建立二维特征空间分布图，根据聚类特点确定判别函数

2.识别：看 待分类 的模式特征数值落在特征平面上哪一侧。

 

1.12.2 句法模式识别

步骤：

1.分解：整个图像结构分解成较简单子图像，再将子图像分解成基本图像单元

2.描述：利用多级树结构对齐进行描述

 

训练过程：

1.先识别出基本单元（如X，Y，Z等简单平面）和它们之间的连接关系（长方形E是由X，Y，Z三个面拼接而成），用字母代表之。

2.用构造句子的文法来描述生成这幅场景的过程，由此推断出生成该场景的一种文法

 

识别过程：

1.对未知结构信息提取基本单元以及识别相互结构关系

2.用已得的文法做句法分析

3.看是否能被文法分析得出来。