摘要：
简介 支持向量机（Support vector machine，以下简称SVM）是一种监督学习模型，其学习算法可分析数据，并用以解决分类和回归问题。给定一训练数据集，每个数据点（或实例）属于二分类中的某个分类，SVM训练算法则建立一个模型，这个模型可以将一个新的数据实例归于某一类（预测）。除了线性分 阅读全文
摘要：
CART 简介 Classification And Regression Tree, 分类回归树，简称CART。通过前面文章的介绍知道了决策树的几种生成方法比如ID3, C4.5等。CART是决策树有一种常见生成方法，既可以用于分类，也可以用于回归。CART假设决策树是二叉树，即，特征取值为“是” 阅读全文
摘要：
上一篇文章介绍了决策树的剪枝概念和意义以及几种常见的剪枝策略。由于剪枝策略或方法可以非常多，而且每一种在不同的应用场景下各有优劣，没有绝对的好。本篇文章继续讨论决策树的剪枝。 现在我们已经知道剪枝需要一个判断依据来决定对当前节点是否需要剪枝，可以定义一个损失函数（loss function）或者代价 阅读全文
摘要：
简介 剪枝（pruning）是指通过移除决策树的某一部分以减少树的大小，被移除的部分的分类能力比较弱，从而降低最终分类器的复杂度，提高泛化能力。 从上一篇文章中，我们知道决策树是通过递归算法产生，然而这可能会出现过拟合（overfitting），也就是，一味的拟合已知的训练数据集，可能会导致分类器过 阅读全文
摘要：
简介 决策树作为预测模型在统计、数据挖掘和机器学习中应用广泛。决策树结构中，叶节点表示分类，而树中分支表示特征的结合产生某个分类。决策树模型中目标变量如果是一个有限的值集合，则称分类树，如果是连续的变量（通常为实数）则称为回归树。 决策树学习的目标是创建一个模型，使得能够根据一组输入变量预测输出变量 阅读全文
摘要：
简介 朴素贝叶斯（naive bayes）是基于贝叶斯定理以及特征条件假设的分类方法。 朴素贝叶斯自1950年以来就有了深入研究，在60年代初被引入信息检索委员会，此后便成为文本分类的基本方法之一，使用单词频率作为特征，来判断文档属于哪一个分类（如垃圾或正常邮件，运动或政治等等）。经过某种适当处理， 阅读全文
摘要：
上一篇文章讲了k近邻法，以及使用kd树构造数据结构，使得提高最近邻点搜索效率，但是这在数据点N 远大于 2^n 时可以有效的降低算法复杂度，n为数据点的维度，否则，由于需要向上回溯比较距离，使得实际效率总是很低（接近线性扫描）。比如SIFT特征矢量128维，SURF特征矢量64维，维度都比较大，N 阅读全文
摘要：
简介 k近邻法(k-nearest neighbors algorigthm) 是一种最基本的用于分类和回归的方法之一，当没有关于训练数据的分布时，首先最容易想到的就是采用k近邻法。 k近邻法输入为实例的特征向量，输出为实例的类别。算法思想是，给定训练数据集，对应输入空间的各个数据点，要判断一个新的 阅读全文
摘要：
模型 机器学习中，感知机（perceptron）是一种二值的监督学习的算法（相应的函数，能决定输入是否属于某个分类，其中输入由一个数值向量表示）。感知机是一个线性分类器，其分类函数基于线性预测函数对新的输入作出预测，即，将输入（实数向量）映射到{-1，1}二值空间： f(x)=sign(wx+b) 阅读全文
摘要：
安装 需要python的docutils，故 然后直接安装mercurial 如果超时，则可以下载安装包手动安装，下载地址这里 解压 然后进入目录执行 make local， 然后将此目录添加到PATH环境变量中 执行如下命令查看版本 阅读全文