摘要：恢复内容开始 出发点 应用统计方法解决模式识别问题时，一再碰到的问题之一就是维数问题。 在低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。 因此，降低维数有时就会成为处理实际问题的关键。 问题描述 考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。 然而，即使样本
阅读全文
posted @ 2018-10-08 15:37
随笔分类 - 【课程】模式识别与机器学习
摘要：出发点： 线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。 采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。 引入分段线性判别函数的
阅读全文
posted @ 2018-10-08 15:20
摘要：出发点 线性判别函数简单，容易实现； 非线性判别函数复杂，不容易实现； 若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。 基本思想 设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若
阅读全文
posted @ 2018-09-29 08:57
摘要：3.1线性判别函数 3.1.1两类问题的判别函数 （1）以二维模式样本为例 （2）用判别函数进行模式分类依赖的两个因素 ① 判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。
阅读全文
posted @ 2018-09-28 19:33
摘要：第二章 统计判别 第三章 判别函数 第四章 特征选择和提取 第五章 句法模式识别 第六章 统计学习理论基础 第七章 有监督学习基础算法 第八章 支持向量机 第九章 无监督学习与半监督学习 第十章 图模型基础 第十一章 集成学习 第十二章 神经网络与深度学习 第十三章 典型应用案例 第一章 绪论 1.
阅读全文
posted @ 2018-09-28 12:58
摘要：均值和协方差矩阵的估计量定义 设模式的类概率密度函数为p(x)，则其均值向量定义为： 其中，x = (x1, x2, …, xn)T，m = (m1, m2, …, mn)T。若以样本的平均值作为均值向量的近似值，则均值估计量为： 协方差矩阵为： 其每个元素clk定义为： 其中，xl、xk和ml、m
阅读全文
posted @ 2018-09-18 21:42
摘要：出发点： 当已知或者有理由设想类概率密度函数P(x|ωi )是多变量的正态分布时，上一节介绍的贝叶斯分类器可以导出一些简单的判别函数。 由于正态密度函数易于分析，且对许多重要的实际应用又是一种合适的模型，因此受到很大的重视。 （贝叶斯分类规则是基于统计概念的。 如果只有少数模式样本，一般较难获得最优
阅读全文
posted @ 2018-09-18 15:21
摘要：一.作为统计判别问题的模式分类 模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。但在现
阅读全文
posted @ 2018-09-17 16:30
摘要：问题1：什么是参数和非参数机器学习算法？ 1.1参数机器学习算法 （1）两步骤： 1. 选择一种目标函数的形式； 2. 从训练数据中学习目标函数的系数。 （2）参数机器学习算法的优点： 简单：这些算法很容易理解和解释结果； 快速：参数模型可以很快从数据中学习； 少量的数据：它们不需要太多的训练数据，
阅读全文
posted @ 2018-09-15 10:52
摘要：在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了，这个问题也在学术界讨论的比较多。 首先就是我们在进行模型训练
阅读全文
posted @ 2018-08-20 16:37
摘要：前言： Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重
阅读全文
posted @ 2018-08-16 15:57
摘要：1. 随机森林优缺点 随机森林（RF）是Bagging的一个扩展变体。RF在以决策树为基分类器进行集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。 Bagging就是对数据集训练多个基分类器，然后将基分类器得到的结果进行投票表决作为最终分类的结果。基分类器在构建过程中需要尽可能保证训练出
阅读全文
posted @ 2018-08-16 15:36
摘要：通常过拟合由以下三种原因产生： 1. 假设过于复杂；2. 数据存在很多噪音；3. 数据规模太小。 过拟合的解决方法通常有： 1. early stopping；2. 数据集扩增；3. 正则化；4. Dropout。 Early stopping： 对模型的训练过程就是对模型参数的进行学习更新的过程。
阅读全文
posted @ 2018-08-16 15:24
摘要：损失函数 损失函数（loss function）也叫代价函数（cost function）。是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近 1、二次代价函数 二次代价函数就是欧式距离的和，在线性回归中用的比较多，但在
阅读全文
posted @ 2018-08-16 14:50
摘要：1、sigmoid 函数曲线如下: sigmoid激活函数，符合实际，当输入值很小时，输出接近于0；当输入值很大时，输出值接近于1。 sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流
阅读全文
posted @ 2018-08-16 14:27
