第一次个人作业

学习心得

第一章

• 让我了解了什么是模式识别，它运用在了哪些方面。在本质上，模式识别是一种推理过程。可以分为“分类”和“回归”两种形式，两者之间的差别是输出量前者是离散的，后者是连续的信号表达。知道了可以通过比较特征向量之间的相关性来识别模式之间是否相似。可以用机器学习技术来得到模型，通过无监督学习和监督学习来训练样本。
• 可以用模型的泛化能力来判断算法对新模式的决策能力，还可以用一系列评估方法与性能指标来估计模型的性能，评估方法有留出法、K折交叉验证、留一验证等。在留出法和交叉验证法中，由于保留了一部分样本用于测试，因而会引入一些因训练样本规模不同而导致的估计偏差。虽然留一法受训练样本规模变化的影响较小，但计算复杂度太高了，所以我们可以采用自助法。自助法在数据集较小，难以有效划分训练/测试集时很有用。性能指标有精度、准确度、召回率，混淆矩阵、ROC和AUC等。

第二章

• 学习了基于距离的分类器，把测试样本到每个类之间的距离作为决策模型，将测试样本判定为其距离最近的类。距离衡量为欧式距离的是MED分类器，但是MED分类器没有排除距离之间的相关性和特征的方差的不同，会造成判别错误。
• 可以通过特征白化来去除特征相关性，有两个步骤：解耦、白化。特征白化之后的欧式距离变成了马氏距离，用马氏距离作为距离衡量的是MICD分类器。但是MICD分类器的缺点是会选择方差较大的类。也还是会产生判别错误。

第三章

• 讲的是贝叶斯决策与学习，学习了MAP分类器，将测试样本决策分给后验概率最大的那个类。相对于MED分类器和MICD分类器来说，MAP分类器偏向于选择先验概率较大可能的类，分布较为紧致的类。
• 为了降低贝叶斯决策风险，在MAP分类器的基础上加入了决策风险因素得到了贝叶斯分类器，贝叶斯分类器选择决策风险最小的类。但是，在贝叶斯决策中利用后验概率的的时候需要知道先验概率和观测似然概率，可以用机器学习算法得到。
• 我们可以采用监督式学习来估计参数，方法有参数化方法和非参数化方法。参数方法可以采用最大似然估计和贝叶斯估计。非参数化方法可以采用KNN估计，直方图技术，核密度技术。