《机器学习》第一次作业——第一至三章学习记录和心得
第一章 模式识别基本概念
1.1 什么是模式识别
- 模式识别的定义:根据已有知识的表达或者说是函数映射,针对待识别模式,判别决策其所属的类别或者预测其对应的回归值,是一种推理过程,可划分为“分类”和“回归”两种形式。
- 分类:输出量是离散的类别表达,即输出待识别模式所属的类别——二类/多类分类
- 回归:回归是分类的基础——离散的类别值是由回归值做判别决策得到的。输出量是连续的信号表达(回归值);输出量维度:单个/多个维度
1.2 模式识别数学表达
- 模式识别数学解释:可以看做一种函数映射f(x),将待识别模式x从输入空间映射到输出空间。函数f(x)是关于已有知识的表达。
- 输入空间:原始输入数据x所在的空间
- 输出空间:输出的类别/回归值y所在的空间
- 模型:已有知识的表达方式,即f(x)
- 模型可用于回归和分类
- 判别函数:特定的非线性函数,记作函数g。通常已知,不作为模型组成
- 二类分类:sign函数
- 多类分类:max函数(去最大的回归值所在维度对应类别)
- 特征的特性:1.具有辨别能力:提升不同类别之间的识别性能,基于统计学规律而非个例;2.具有鲁棒性:针对不同的观测条件,仍能够有效表达类别之间的差异性
- 特征向量的定义和性质:
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505175732253-1348910806.png)
1.3 特征向量的相关性
- 点积的代数定义:点积的结果是一个标量表达;点积具备对称性;点积是一个线性变换
- 点积的几何定义:点积可以表征两个特征向量的共线性,即方向上的相似程度。点积=0,说明两个向量是正交的
- 残差向量:向量x分解到向量y方向上得到的投影向量原向量x的误差
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505180202146-2066762998.png)
- 欧氏距离:表征两个向量之间的相似程度(综合考虑方向和模长)
1.4 机器学习基本概念
- 线性模型:模型结构是线性的(直线、面、超平面):y=(W^T)x+W0(w,w0是模型参数)
- 非线性模型:模型结构非线性,y=g(x)。常见非线性模型:多项式、神经网络、决策树
- 样本量与模型参数量的关系:N=M:参数有唯一解;N>>M:没有准确的解;N<<M:无数个解/无解
- 目标函数:对于over-determined的情况,需要额外添加一个标准,通过优化该标准来确定一个近似解,这个标准就是目标函数,也叫代价函数或损失函数
- 机器学习方式:真值(标签)&标注;监督式学习:训练样本及输出真值都给定情况下的机器学习;无监督式学习:只给定训练样本,没有给输出真值情况下的机器学习算法;半监督式学习:既有标注的训练样本,又有未标注的训练样本情况下的学习算法
- 强化学习:机器自行探索决策、真值滞后反馈的过程
1.5 模型的泛化能力
- 泛化能力:即训练得到的模型不仅要对训练样本有决策能力,也要对新的模式具有决策能力。
- 过拟合:泛化能力低的表现。模型训练阶段表现很好,但在测试阶段表现很差。模型过于拟合训练数据
- 提高泛化能力:选择复杂的模型;正则化:在目标函数中加入关于参数的正则项,通过调节正则系数,降低过拟合的程度
1.6 评估方法与性能指标
- 随机划分:训练集和测试集,用训练集训练模型,用测试集评估模型量化指标;取统计值:取量化指标的平均值/方差/最大值等作为最终性能量化评估结果
- K折交叉验证:将数据集分割成K个子集,从中选取单个子集作为测试集,其余作为训练集;交叉验证重复K次,使每个子集被测试一次;K次评估值取平均作为最终量化评估结果
- 留一验证:每次只取数据集中一个样本做测试集,其余做训练集;每次样本测一次,取所有评估值的平均值作为最终评估结果;等同于K折交叉验证,K为数据集样本总数
- 性能指标
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505180813658-1469036513.png)
第二章 基于距离的分类器
2.1 MED分类器
- 基于距离的决策:初级的模式识别技术,是其他识别决策技术的基础
- 定义:把测试样本到每个类之间的距离作为决策模型,将测试样本判定为与其距离最近的类
- 类的原型:用来代表这个类的一个模式或者一组量,便于计算该类和则是样本之间的距离
- 距离度量标准
非负性:d(x,z) >= 0
对称性:d(x,z) = d(z,x)
三角不等式:d(x,z) <= d(x,y) + d(y,z)
- 常见的几种距离度量
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505181056119-471192142.png)
- MED分类器的概念:最小欧式距离分类器
- MED分类器的决策边界方程
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505221500879-117834806.png)
2.2 特征白化
- 目的:将原始特征映射到一个新的特征空间,使得在新空间中特征的协方差矩阵为单位矩阵,从而去除特征变化的不同及特征之间的相关性
- 步骤:1.去除特征之间的相关性——解耦:通过W1实现协方差矩阵对角化;2.对特征进行尺度变换——白化:通过W2对上一步变化后的特征再进行尺度变换,实现所有特征具有相同方差。
2.3 MICD分类器
- 概念:最小类内距离分类器,基于马氏距离,经过特征正交白化,去除特征变化的不同及特征之间的相关性,缺陷是会选择方差较大的类。
第三章 贝叶斯决策与学习
3.1 贝叶斯决策与MAP分类器
- 后验概率:给定一个测试模式x,决策其属于哪个类别需要依赖于P(Ci|x),该表达式称为后验概率,表达给定模式x属于类Ci的可能性。
- 贝叶斯规则:已知先验概率和观测概率,模式𝒙属于类𝐶𝑖后验概率的计算公式为:
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505221657159-1491336472.png)
- MAP分类器:将测试样本决策分类给后验概率最大的那个类。给定所有测试样本, MAP分类器选择后验概率最大的类,等于最小化平均概率误差,即最小化决策误差。
3.2 MAP分类器:高斯观测概率
- 先验和观测概率表达方式:1.常数表达:P(Ci)= 0.2;2.参数化解析表达:高斯分布……;3.非参数化表达:直方图、核密度、蒙特卡洛……
- MAP分类器会倾向于选择先验概率大,分布紧致的类,解决了MED和MICD的问题
3.3 决策风险与贝叶斯分类器
- 损失:表征当前决策动作相对于其他候选类别的风险程度,记为λ(αi|Cj),简写为λij
- 贝叶斯分类器:在MAP分类器基础上,加入决策风险因素,得到贝叶斯分类器,给定一个测试样本𝒙,贝叶斯分类器选择决策风险最小的类。给定所有测试样本 {𝒙},贝叶斯分类器的决策目标: 最小化期望损失。
- 朴素贝叶斯分类器:如果特征是多维的,则特征之间的相关性会导致学习困难。通过假设特征之间是相互独立(即独立同分布),进而简化计算,此为朴素贝叶斯
3.4 最大似然估计
- 参数化方法:给定概率分布的解析表达,学习这些解析表达中的参数,又称参数估计
- 最大似然估计
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505221902158-1785149734.png)
3.5 最大似然的估计偏差
- 无偏估计:如果一个参数的估计量的数学期望是该参数的真值,则该估计量称作无偏估计,意味着只要训练样本个数足够多,该估计值就是参数的真实值
- 高斯分布均值的最大似然估计是无偏估计;高斯分布协方差的最大似然估计是有偏估计
3.6 贝叶斯估计
- 贝叶斯估计:给定参数𝜃分布的先验概率以及训练样本,估计参数θ分布的后验概率
- 贝叶斯估计具备不断学习的能力。允许最初不太准确的估计,随着训练样本的不断增加而修正估计值,从而达到期望真值
- 贝叶斯估计流程步骤
![](https://img2020.cnblogs.com/blog/2145992/202105/2145992-20210505222010755-1958432211.png)
3.7 KNN估计
- 若概率分布形式未知,可通过无参数技术实现概率密度估计。常用五参数技术:KNN、直方图、核密度估计
- KNN估计:给定𝒙,找到其对应的区域𝑅使其包含𝑘个训练样本,以此计算𝑝(𝒙)
- KNN估计的优缺点:可以自适应的确定𝒙相关的区域𝑅的范围,但不是真正的概率密度表达,概率密度函数积分是 ∞ 而不是1
3.8 直方图与核密度估计
- KNN估计的问题:在推理测试阶段仍需存储所有训练样本。对任意模式x,需要以其为中心,在训练样本中选k个相邻点估计该模式的概率;区域R是由第k个相邻点确定的,易受噪声影响
- 直方图估计:直接将特征空间划分为m个格子(bins),每个格子是一个区域R,位置固定、大小固定,相邻格子不重叠,k值不需要给定
- 核密度估计:以𝒙为中心固定带宽h,计算落入R的样本个数,以此计算𝑝(𝒙)。
- 核密度估计的优缺点:可以自适应确定R的代销,克服了KNN估计存在的噪声影响。但是要储存所有训练样本,耗费空间大。
- 带宽选取的原则:泛化能力。因为给定训练样本数量是有限的,故要求根据训练样本估计出的概率分布既能符合训练样本,同时也要有一定预测能力,即能估计未看见的模式