机器学习第二次作业

学习笔记

第一章 基本概念

模式识别的形式

• 分类
  • 输出是离散的
• 回归
  • 输出是连续的

回归是分类的基础，离散的类别值由回归值做判别决策得到。

特征的特性

• 具有辨别能力：基于统计学规律
• 鲁棒性：抗干扰性，稳健性

特征向量的相关性

• 点积
  • 对称性
• 投影
  • 不具备对称性
• 残差向量
• 欧氏距离
  • 综合考虑方向和模长

机器学习流程图

目标函数的作用：参数可能没有准确解或有无数解，所以要确定近似解

机器学习的方式

• 监督式学习：给定训练样本和输出真值
  • 应用：识别、分类
• 无监督式学习：不给定输出真值（更难）
  • 根据训练样本之间的相似程度决策
  • 应用：聚类、图像分割
• 半监督式学习
• 强化学习：机器自行探索决策、真值滞后反馈的过程
  • 应用：棋类

误差

• 训练误差
• 测试误差（泛化误差）

泛化能力

模型不仅对训练样本有决策能力，也对新的模式有决策能力。

• 过拟合：训练阶段很好，测试阶段很差

提高泛化能力：

• 选择复杂度适合的模型
  • 训练样本的个数N，多项式阶数M
• 正则化：在目标函数中加入正则项

模型评估方法

• 留出法
  • 随机划分训练集和测试集
  • 多次划分取平均
• K折交叉验证
  • K个子集，取一个作为测试集
  • 重复K次，每个子集都测试一次，取平均
• 留一验证
  • K=样本总数的K折交叉验证

性能指标

第二章 基于距离的分类器

类的原型

代表这个类的一个模式或一组量

• 均值
  • 误差最小
• 最近邻
  • 取决于测试样本的位置
  • 误差较大
  • 对噪声和异常样本较敏感

距离度量

标准：

• 同一性
• 非负性
• 对称性
• 三角不等式

方式：

• 欧氏距离
• 曼哈顿距离
• 加权欧氏距离

MED分类器

最小欧氏距离分类器

决策边界：超平面，垂直平分两个类原型的连线

特征正交白化

去除特征方差不同和特征相关性

• 解耦：协方差矩阵对角化，去除相关性
• 白化：尺度变换，使各维方差相同

MICD分类器

最小类内距离分类器（马氏距离）

决策边界：

缺陷：

会选择方差较大的类

原因：仅考虑观测到的训练样本的分布情况，没有考虑类的分布等先验知识

第三章 贝叶斯决策与学习

后验概率 p(C|x)

• 输入模式x：随机变量或向量
• 类别输出C：随机变量

给定模式x属于类C的可能性

贝叶斯规则

MAP分类器

最大后验概率分类器

决策边界：

• 单维：两条
• 高维：复杂的非线性边界

决策误差

未选择的类所对应的后验概率

• 单个测试样本：p(error|x)
• 所有测试样本：均值，p(error)

观测概率

• 单维高斯分布
  • 方差相等时：一条，决策边界偏向先验概率小的类，即分类器决策偏向先验概率高的类（注意表述的不同）
  • 方差不等时：两条，非线性，分类器决策倾向于方差小的类
• 高维高斯分布
  • 决策边界是超二次型

损失

当前决策动作相对于其他候选类别的风险程度

假定x属于Cj，决策动作αi的损失：λ(αi|Cj)，简称λij

可以用矩阵表示

决策风险

定义：所有候选类别的期望损失

贝叶斯分类器

决策风险最小

• 决策损失

• 决策目标

最小化期望损失：对每个测试样本选择风险最小的类

朴素贝叶斯分类器

特征是多维的，假定特征之间是独立的

拒绝选项

• 原因：决策边界附近的判别有较大不确定性

引入阈值τ，后验概率小于τ的决策会被拒绝

τ∈(1/K,1)

学习心得

课程结束的有点快，这些天的学习中接触了很多关于机器学习和模式识别的新概念，新知识。由于以前从来没接触过相关领域，所以这门课程有点难学，但也正因如此，这些东西对我来说也都很新鲜，让我想要了解更多。

第一节课上，了解了很多模式识别和机器学习领域的应用，意识到机器学习技术与人们日常生活的密切联系，比如无人驾驶，文字识别，人脸识别，股市预测等等各种应用，才发现在智能设备如此普及的现在，人们的生活早已离不开机器学习技术的支撑，明白了机器学习的重要性。之后，在老师深入浅出的讲解下，从机器学习的基本概念和原理，到分类器的讲解以及优化，我了解了越来越多的知识。

同样的，这门课也让我明白了基本功的重要。。由于对之前线代、高数等知识的淡忘，在一些公式推导方面，学习的有些吃力。而课本又都不在家里，没法随时查阅相关知识，所以对公式这方面学习的确实不怎么扎实，以后肯定还要回过头来再看几遍才能掌握。。