12 2017 档案

提升算法(3)
摘要：提升树利用加法模型与前向分布算法实现学习的优化过程（原理相同），当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化算法并不容易针对该问题有人提出了梯度提升(gradient boosting)算法，利用最速下降的近似方法，关键是利用损失函数的负梯度在当前 阅读全文
posted @ 2017-12-27 18:34 小丑_jk 阅读(191) 评论(0) 推荐(0) 编辑
提升算法(2)
摘要：提升树： 提升树是以分类树或回归树为基本分类器的提升方法。提升方法实际采用加法模型(即基函数的线性组合)与前向分布算法，以决策树为基函数的提升方法称为提升树，对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树，其根据特征x<v与x>v将根结点直接连接两个叶结点，以作为决策树桩。提升树模型可以 阅读全文
posted @ 2017-12-24 17:29 小丑_jk 阅读(809) 评论(0) 推荐(0) 编辑
提升算法(1)
摘要：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学 阅读全文
posted @ 2017-12-23 20:22 小丑_jk 阅读(590) 评论(0) 推荐(0) 编辑
非线性支持向量机(2)
摘要：常用的核函数： 1、多项式核函数 对应的支持向量机是一个p次多项式分类器，在此情形下，分类决策函数成为： （来自前面关于支持向量机w的估计，因而分类决策函数转为今儿通过核函数的内积将 映射后对分类决策函数进行替换得到上f(x)式子） 2、高斯核函数 对应的支持向量机是高斯径向基函数分类器，在此情形下 阅读全文
posted @ 2017-12-23 15:28 小丑_jk 阅读(386) 评论(0) 推荐(0) 编辑
非线性支持向量机(1)
摘要：对于线性分类问题，线性分类支持向量机效果很好。但是当碰到无法直线分开的时候，就涉及通过曲线(非线性模型)将它们正确分开。由于非线性问题往往不好解，则通过进行非线性变换将非线性问题转换为线性问题，通过求解变换后的线性问题来求解原非线性问题。 非线性分类问题： 一般来说，对于给定的训练数据集T={(x1 阅读全文
posted @ 2017-12-20 20:38 小丑_jk 阅读(1000) 评论(0) 推荐(0) 编辑
线性支持向量机(4)
摘要：对于线性支持向量机学习来说，模型为分离超平面w*x+b*=0及决策函数f(x)=sign(w*x+b*)，其学习策略为软间隔最大化，学习算法为凸二次规划。线性支持向量机学习还有另外一种解释，也就是最小化如下目标函数： 第一项是经验损失，函数： 称为合页损失函数，下标+表示以下取正值的函数： 那么以上 阅读全文
posted @ 2017-12-14 17:45 小丑_jk 阅读(203) 评论(0) 推荐(0) 编辑
线性支持向量机 (3)
摘要：线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立，因此这时候需要将硬间隔最大化，使其变成软间隔最大化。 假定给定特征空间上的训练数据集：T={(x1,y1),(x2,y2),...(xn,yn)}，xi为第i个特征向量，yi为xi的类标记， 阅读全文
posted @ 2017-12-13 16:50 小丑_jk 阅读(338) 评论(0) 推荐(0) 编辑
线性支持向量机（2）
摘要：拉格朗日对偶问题的转换可以参考：https://www.cnblogs.com/90zeng/p/Lagrange_duality.html 拉格朗日函数泛化的KKT条件而得出的求解函数极大极小问题，可参考：https://www.cnblogs.com/zhangchaoyang/articles 阅读全文
posted @ 2017-12-11 19:55 小丑_jk 阅读(389) 评论(0) 推荐(0) 编辑
线性支持向量机（1）
摘要：支持向量机的学习策略就是间隔最大化，形式转化为求解凸二次规划问题。该算法就是求解凸二次规划的最优化算法。 当训练数据线性可分时候，通过硬间隔最大化，学习线性分类器，称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器，称为软间隔最大化；当数据线性不可分时，通过使用核技巧及 阅读全文
posted @ 2017-12-07 15:35 小丑_jk 阅读(340) 评论(0) 推荐(0) 编辑
logistic回归模型
摘要：二项logistic回归模型符合如下概率分布： 其中wx表示w和x的内积 上式同样也可以表示为： 其中p=P(Y=1|x) 二分类数据集(x1,y1),(x2,y2),....(xn,yn) 将设p=P(Y=1|x)=π(x)，则1-p=P(Y=0|x)=1-π(x) 那么观测值的概率发生概率同样能 阅读全文
posted @ 2017-12-06 23:57 小丑_jk 阅读(430) 评论(0) 推荐(0) 编辑
决策树算法（3）
摘要：CART树： 该树的生成就是递归的构建二叉决策树的过程，对回归树用平方误差最小化准则，对分类树用gini指数最小化准则，进行特征选择，生成二叉树。 （1）回归树 假设X和Y分别为输入和输出变量，Y为连续变量，给定数据集D＝{(x1,y1),(x2,y2),...(xn,yn)} 假设输入空间划分为M 阅读全文
posted @ 2017-12-04 18:18 小丑_jk 阅读(756) 评论(0) 推荐(0) 编辑
决策树算法（2）
摘要：ID3算法： ID3算法就是在决策树上各个结点应用信息增益准则作为特征筛选，然后递归的构建决策树。具体算法如下所示： 输入：训练数据集D，特征集A，阈值e 输出：决策树T （1）若D中所有实例属于同一类Ck，则T为单结点树，并将Ck作为该结点的类标记，返回T （2）若A为空，则T为单结点树，并将D中 阅读全文
posted @ 2017-12-02 19:09 小丑_jk 阅读(306) 评论(0) 推荐(0) 编辑
决策树算法（1）
摘要：决策树本质就是从训练数据集中归纳出一组分类规则，通过训练与数据集矛盾较小的决策树，同时具有较好的泛化能力。 通常该算法是一个递归的选择最优特征，并根据该特征对训练数据集进行分割，使得对各个子数据集具有较好的分类的过程。最开始将所有特征都放置在根结点， 选择最优特征，按照特征将训练集进行划分，使各子集 阅读全文
posted @ 2017-12-01 22:56 小丑_jk 阅读(573) 评论(0) 推荐(0) 编辑