模式识别复习提纲

一、设计系统

1、基本步骤

1.特征选择(关心的信息)

2.近邻测度(是否相似)

3.聚类准则(优化目标)

4.聚类算法(依照近邻测度,追求聚类准则)

5.结果验证(逼近正确结果)

6.结果判定(专家判定)

---

二、聚类

要求理解掌握各种模式相似性测度。写出公式，分析特点、应用场景区别，根据具体数值计算模式相似性。

1、聚类的基本应用

减少数据

假说生成

假说检验

基于分组的预测

2、相似度(欧式距离、马氏距离、夹角余弦)

2.1、欧氏距离（距离测度）

两点间距离

2.2、⭐马氏距离（距离测度）

注：对矩阵求逆

注注：ppt题目

2.2.1、马氏距离性质

对一切非奇异线性变换都是不变的。即，具有坐标系比例、旋转、平移不变性，并且从统计意义上尽量去掉了分量间的相关性。

2.3、夹角余弦（相似测度）

忽略矢量长度情况下，两矢量是否相近（角度）

---

三、特征选择与提取

要求掌握单类、多类模式的特征提取。要求掌握特征白化（L8-特征白化(2)）的概念原理。
---PPT例题3.2 3.3
特征白化（L8-特征白化(2)）的概念原理：ppt

1、特征选择和特征提取的异同

（1）特征选择：从L个度量值集合中按一定准则选出供分类用的子集，作为降维（m维，m< L）的分类特征。

（2）特征提取：使一组度量值 通过某种变换产生新的m个特征 ，作为降维的分类特征 。

特征选择:从原特征集合中选出子集(物理、结构特征)

特征提取:使原特征集合通过变换产生较少的新特征(数学方法)

2、对特征的要求

(1)具有很大的识别信息量。即应具有很好的可分性。

(2)具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。

(3)尽可能强的独立性。重复的、相关性强的特征只选一个。

(4)数量尽量少，同时损失的信息尽量小。

特征提取方法

3、⭐重点：K-L变换，非常神秘的算法

---

四、判别函数

要求掌握MED分类器（L7-MED分类器）。包括概念原理、推导过程、计算过程、存在问题，与MCID的区别。

1、概念

判别函数的定义：用来对模式进行分类的准则函数（用线划分区域）

1.1、一般形式

\[d(X) = W_0^TX + w_{n+1} \]

其中

\[X = [x1,x2,...,xn]^T : 模式向量 \]

\[W_0 = [w1,w2,...,wn]^T : 权向量，即参数向量 \]

1.2、增广形式

即把一般形式的wn+1纳入模式向量和参数向量中

\[d(X) = W^TX \]

其中

\[X = [x1,x2,...,xn,1]^T : 模式向量 \]

\[W = [w1,w2,...,wn,wn+1]^T \]

2、⭐几何性质

对于区域正负的判定用特殊值

2.1、两类

2.2、多类

2.2.1、ωi/非ωi两分法

如：对某一模式区，di(X)>0超过一个，或全部的di(X)<0 ， 分类失效。相当于不确定区(indefinite region ，IR)

例题：

2.2.2、ωi/ωj两分法

注意这里dji=-dij，转换时记得加负号

2.2.3、ωi/ωj两分法特例

大白话就是把X代入每一个di，选出唯一最大值，则X属于ωi

特点：

是第二种情况的特例。由于dij(X)= di (X) － dj (X) ，若在第三种情况下可分，则在第二种情况下也可分，但反过来不一定。

除边界区外，没有不确定区域。

例题：

注：ωi的判决函数就是拿di减去其他d

ωi/非ωi两分法和ωi/ωj两分法的比较

对于M类模式的分类， ωi/非ωi两分法共需要M个判别函数，但ωi/ωj两分法需要M(M-1)/2个。当时M>3时，后者需要更多个判别式（缺点），但对模式的线性可分的可能性要更大一些（优点）。

---

五、支持向量机，先jump

六、统计

最小错误
最小风险
np