摘要：
图片经过卷积、激活后的结果一般带有大量原图信息。 上图中卷积核提取的是竖直方向上的连续像素，但是，被增强的像素只占了结果的1/3，对于多层网络，其余重要性较低的信息也被传入了下一层网络，造成了不必要的浪费，因此需要用池化对卷基层得到的结果做聚合统计。池化的理论基础是：图像相邻位置的像素是相关的，即使 阅读全文
摘要：
数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值。 从卷积的效果来看，在二维图像上进行卷积时，卷积核对所在区域上符合某种条件的像素赋予较多 阅读全文
摘要：
机器学习领域有很多现成的数据集，它们由个人或组织制作、整理，且向外界公开下载，比如在字符识别领域有mnist数据集等，数据挖掘领域有Iris，Adult数据集等。这些数据集为相关技术研究者提供了很大的便捷，有了这些资源，研究者就可以把更多的精力放在模型的研究上，可以说这些数据集的制作整理者对推动数据 阅读全文
摘要：
上一次提到“商”这个字眼，还是在讲商集的时候。我们将商集看做是以等价关系对集合的一个划分。现在我们更进一步，提出商群的概念。 如果 $N$ 是不变子群，那么利用 $N$ 可以导出 $G$ 上的一个等价关系， $a~b$ 当且仅当 $a^{ 1}b\in N$ ，也就是 $a,b$ 同属于 $N$ 的 阅读全文
摘要：
支持向量机 支持向量机（SVM）是基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量 阅读全文
摘要：
K means原理 聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x。 K means也是聚类算法中最简单的一种。在聚类问题中，给我们的训练样本是${x^{(1)},...,x^{(m)}}$，每一个$ 阅读全文
摘要：
Bagging 集成学习算法有两个大类:一个是Boosting，代表算法是AdaBoost；另一个是Bagging，本文介绍的随机森林是它的一个变种。 Bagging也叫自举汇聚法（bootstrap aggregating），它在原始数据集上通过有放回抽样重新选出$T$个包含$m$条数据的新数据集 阅读全文
摘要：
集成学习 在一般经验中，如果把好坏不等的东西掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些。这就是集成学习的出发点。如果把多个学习器结合起来，是否能获得比最好的单一学习器更好的性能呢? 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成学习一般先 阅读全文
摘要：
最近邻分类器 消极学习方法 一般的分类器，比如决策树和支撑向量机，只要有训练数据可用，它们就开始学习从输入属性到类标号的映射模型，这类学习策略被称为积极学习方法。与之相对的是消极学习算法，它的策略是推迟对训练数据的建模，在需要分类测试样例时再进行。消极学习的一个例子是Rote分类器，它记住整个训练集 阅读全文
摘要：
PCA 降维 一些机器学习算法在处理高维数据时，性能会出现明显下降，这就是所谓的“维度灾难”，为此人们开始对算法进行改进。与此同时，对降维的需求催生了降维算法，比如本文要介绍的主成分分析（Principal Component Analysis，PCA）。 在开始本文的主要内容之前，我想先举一个关于 阅读全文