只有注册用户登录后才能阅读该文。 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
1 核型岭回归 首先，岭回归的形式如下： 在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合： 因此我们把w代入，问题就转化为求β的问题，同时引入核技巧： 求解这个问题，先求梯度： 令梯度为0，可以直接解出β： 上式中，可保证逆矩阵一定存在，因为K是半正定的 阅读全文
摘要：
1 随机森林 bagging的好处是降低各个子分类器的variance，而决策树又是对数据敏感的算法，variance比较大。因此我们很自然地就把bagging用到了决策树。也就是基本的随机森林算法： 随机森林的好处是： （1）每棵树并行化学习，非常有效率 （2）继承了CART的好处 （3）弥补了决 阅读全文
摘要：
1 非线性的聚合 决策树 决策树可以看作非线性的模型聚合： 递归形式是： 其中，G(x)表示决策树对应的函数，b(x)表示分叉的规则，Gc(x)是子树的模型。 2 一般决策树生成算法的框架 即，学习划分规则b(x)，然后把数据按照b(x)划分为C部分，对每一部分递归地生成子树。注意递归在一定条件停止 阅读全文
摘要：
1 AdaBoost的推导 首先，直接给出AdaBoost算法的核心思想是：在原数据集上经过取样，来生成不同的弱分类器，最终再把这些弱分类器聚合起来。 关键问题有如下几个： （1）取样怎样用数学方式表达出来； （2）每次取样依据什么准则； （3）最后怎么聚合这些弱分类器。 首先我们看第一个问题，如何 阅读全文
摘要：
1 模型聚合的几种方式 分别有：（1）选择最好的模型；（2）每个模型均匀的投票；（3）每个模型按不同的权重投票；（4）每个模型的权重跟输入有关。 2 Uniform Blending 也就是均匀投票的聚合方式。对于二分类来说，就是： 对于多分类来说，就是： 对于回归来说，就是： 简单推导一下为什么这 阅读全文
摘要：
1 无约束形式的soft-SVM 我们知道，soft-SVM的一般形式是： 这里我们把松弛变量ξn写成下面的形式（这里其实就是松弛变量的定义，如果这个点不违反硬条件，则它的松弛变量为0，否则的话，松弛变量的值就是它到底违反了多少，即yn(w*xn + b)与1的差值）: 这样写之后，原问题的约束条件 阅读全文