摘要：
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学 阅读全文
摘要：
常用的核函数： 1、多项式核函数 对应的支持向量机是一个p次多项式分类器，在此情形下，分类决策函数成为： （来自前面关于支持向量机w的估计，因而分类决策函数转为今儿通过核函数的内积将 映射后对分类决策函数进行替换得到上f(x)式子） 2、高斯核函数 对应的支持向量机是高斯径向基函数分类器，在此情形下 阅读全文
摘要：
对于线性分类问题，线性分类支持向量机效果很好。但是当碰到无法直线分开的时候，就涉及通过曲线(非线性模型)将它们正确分开。由于非线性问题往往不好解，则通过进行非线性变换将非线性问题转换为线性问题，通过求解变换后的线性问题来求解原非线性问题。 非线性分类问题： 一般来说，对于给定的训练数据集T={(x1 阅读全文
摘要：
对于线性支持向量机学习来说，模型为分离超平面w*x+b*=0及决策函数f(x)=sign(w*x+b*)，其学习策略为软间隔最大化，学习算法为凸二次规划。线性支持向量机学习还有另外一种解释，也就是最小化如下目标函数： 第一项是经验损失，函数： 称为合页损失函数，下标+表示以下取正值的函数： 那么以上 阅读全文
摘要：
线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立，因此这时候需要将硬间隔最大化，使其变成软间隔最大化。 假定给定特征空间上的训练数据集：T={(x1,y1),(x2,y2),...(xn,yn)}，xi为第i个特征向量，yi为xi的类标记， 阅读全文
摘要：
拉格朗日对偶问题的转换可以参考：https://www.cnblogs.com/90zeng/p/Lagrange_duality.html 拉格朗日函数泛化的KKT条件而得出的求解函数极大极小问题，可参考：https://www.cnblogs.com/zhangchaoyang/articles 阅读全文
摘要：
支持向量机的学习策略就是间隔最大化，形式转化为求解凸二次规划问题。该算法就是求解凸二次规划的最优化算法。 当训练数据线性可分时候，通过硬间隔最大化，学习线性分类器，称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器，称为软间隔最大化；当数据线性不可分时，通过使用核技巧及 阅读全文
摘要：
二项logistic回归模型符合如下概率分布： 其中wx表示w和x的内积 上式同样也可以表示为： 其中p=P(Y=1|x) 二分类数据集(x1,y1),(x2,y2),....(xn,yn) 将设p=P(Y=1|x)=π(x)，则1-p=P(Y=0|x)=1-π(x) 那么观测值的概率发生概率同样能 阅读全文
摘要：
CART树： 该树的生成就是递归的构建二叉决策树的过程，对回归树用平方误差最小化准则，对分类树用gini指数最小化准则，进行特征选择，生成二叉树。 （1）回归树 假设X和Y分别为输入和输出变量，Y为连续变量，给定数据集D＝{(x1,y1),(x2,y2),...(xn,yn)} 假设输入空间划分为M 阅读全文
摘要：
ID3算法： ID3算法就是在决策树上各个结点应用信息增益准则作为特征筛选，然后递归的构建决策树。具体算法如下所示： 输入：训练数据集D，特征集A，阈值e 输出：决策树T （1）若D中所有实例属于同一类Ck，则T为单结点树，并将Ck作为该结点的类标记，返回T （2）若A为空，则T为单结点树，并将D中 阅读全文