第二章 基于距离的分类器 笔记

MED分类器

基于距离的决策：把测试样本到每个类之间的距离作为决策模型，将测试样本判定为其距离最近的类。
判别公式：y ∈ Ci if d(y, Ci) <= d(y, Cj) any j != i

常见的几种距离度量：

MED分类器（最小欧式距离分类器）：
距离衡量：欧式距离
类的原型：均值
决策边界：

缺点：没有考虑特征变化的不同及特征之间的相关性
解决方法：去除特征变化的不同及特征之间的相关性

特征白化

目的：将原始特征映射到一个新的特征空间，使得在新空间中特征的协方差矩阵为单位矩阵，从而去除特征变化的不同及特征之间的相关性。
假设映射矩阵为：

转换后的特征y为：

转换后的协方差矩阵为：

目标：

令 W = W1 * W2
解耦：通过 W1 实现协方差矩阵对角化，去除特征之间的相关性。
白化：通过 W2 对上一步变化后的特征再进行尺度变换，实现所有特征具有相同方差。

特征解耦：

特征白化：

W转换后的距离：

MICD分类器

MICD分类器（最小类内距离分类器）：
度量距离：马氏距离
类的原型：均值
判别公式：

决策边界：