摘要：1） 极/最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood
阅读全文
posted @ 2018-11-29 19:39
随笔分类 - 【课程】模式识别与机器学习
摘要：PCA与Kernel PCA介绍与对比 1. 理论介绍 PCA：是常用的提取数据的手段，其功能为提取主成分（主要信息），摒弃冗余信息（次要信息），从而得到压缩后的数据，实现维度的下降。其设想通过投影矩阵将高维信息转换到另一个坐标系下，并通过平移将数据均值变为零。PCA认为，在变换过后的数据中，在某一
阅读全文
posted @ 2018-11-25 14:28
摘要：基本思想 其基本思想就是设法提取数据的主成分（或者说是主要信息），然后摒弃冗余信息（或次要信息），从而达到压缩的目的。本文将从更深的层次上讨论PCA的原理，以及Kernel化的PCA。 引子 首先我们来考察一下，这里的信息冗余是如何体现的。如下图所示，我们有一组二维数据点，从图上不难发现这组数据的两
阅读全文
posted @ 2018-11-25 13:47
摘要：一.简介 支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；（2）当训练样
阅读全文
posted @ 2018-11-13 16:07
摘要：（1）判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有线性回归模型、线性判别分析、支持向量机SVM、神经网络、boosting、条件随机场等。 举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊
阅读全文
posted @ 2018-11-07 15:02
摘要：虽然叫做“回归”，但是这个算法是用来解决分类问题的。回归与分类的区别在于：回归所预测的目标量的取值是连续的（例如房屋的价格）；而分类所预测的目标变量的取值是离散的（例如判断邮件是否为垃圾邮件）。当然，为了便于理解，我们从二值分类（binary classification）开始，在这类分类问题中，y
阅读全文
posted @ 2018-11-07 14:52
摘要：线性回归 线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。 最小二乘法 线性回归过程主要解决的就是如何通过样本来获取最佳的拟合线。最常用的方法便是最小二乘法，它是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。
阅读全文
posted @ 2018-11-07 14:35
摘要：在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。 概率
阅读全文
posted @ 2018-11-07 10:44
摘要：来源：https://www.cnblogs.com/jianxinzhou/p/4083921.html 1. The Problem of Overfitting （1） 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但
阅读全文
posted @ 2018-10-31 14:24
摘要：来源：https://www.cnblogs.com/ooon/p/5711516.html 2.Bias variance tradeoff
阅读全文
posted @ 2018-10-31 13:34
摘要：在模式识别中，如果大量复杂的模式的集合，能用一组为数不多的简单的模式基元和文法规则来描述，则对每一个模式的识别，就可以按给定的一组文法结构规则来剖析； 如果解析的结果表明，模式基元能为给定的文法规则所接受，则可判别它属于该模式类，否则就不属于该模式类。 5.2.1 形式语言理论中的某些定义 形式语言
阅读全文
posted @ 2018-10-22 16:17
摘要：第五章 句法模式识别 出发点：统计模式识别是基于模式特征的一组测量值来组成特征向量，用决策理论划分特征空间的方法进行分类。 基于描述模式的结构信息，用形式语言中的规则进行分类，可以更典型地应用于景物图片的分析。 因为在这类问题中，所研究的模式通常十分复杂，需要的特征也很多，仅用数值上的特征不足以反映
阅读全文
posted @ 2018-10-22 15:18
摘要：（n为结点个数） 为成本差额
阅读全文
posted @ 2018-10-19 11:31
摘要：全称：Karhunen-Loeve变换（卡洛南-洛伊变换） 前面讨论的特征选择是在一定准则下，从n个特征中选出k个来反映原有模式。 这种简单删掉某n-k个特征的做法并不十分理想，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特征，简单地删去某些特征可能会丢失较多的有用信息。 如果将
阅读全文
posted @ 2018-10-16 14:48
摘要：特征选择和提取 特征选择和提取是模式识别中的一个关键问题 前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征； 这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能； 假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的
阅读全文
posted @ 2018-10-16 14:15
摘要：决策树，或称多级分类器，是模式识别中进行分类的一种有效方法，对于多类或多峰分布问题，这种方法尤为方便。 利用树分类器可以把一个复杂的多类别分类问题，转化为若干个简单的分类问题来解决。 它不是企图用一种算法、一个决策规则去把多个类别一次分开，而是采用分级的形式，使分类问题逐步得到解决。 一般来讲，一个
阅读全文
posted @ 2018-10-16 13:59
摘要：目的 用势函数的概念来确定判别函数和划分类别界面。 基本思想 假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。 把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。 随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势
阅读全文
posted @ 2018-10-15 13:33
摘要：3.8.1梯度法 定义： 梯度是一个向量，它的最重要性质就是指出了函数f在其自变量y增加时最大增长率的方向。 负梯度指出f的最陡下降方向 利用这个性质，可以设计一个迭代方案来寻找函数的最小值。 采用梯度法求解的基本思想 对感知器算法 式中的w(k)、xk随迭代次数k而变，是变量。 定义一个对错误分类
阅读全文
posted @ 2018-10-15 09:14
摘要：3.6感知器算法 出发点 一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。 在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。 感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。 基本思想 采用感知器
阅读全文
posted @ 2018-10-09 14:58
