摘要：
转自出处： http://blog.csdn.net/walilk/article/details/50278697 符号说明： 以如下图为例： 前面的网络结构对应二分类问题 后面的网络结构对应多分类问题 Layer层： 最左边的层为输入层(input layer)，对应样本特征 最右边的层为输出层 阅读全文
摘要：
提升树利用加法模型与前向分布算法实现学习的优化过程（原理相同），当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化算法并不容易针对该问题有人提出了梯度提升(gradient boosting)算法，利用最速下降的近似方法，关键是利用损失函数的负梯度在当前 阅读全文
摘要：
提升树： 提升树是以分类树或回归树为基本分类器的提升方法。提升方法实际采用加法模型(即基函数的线性组合)与前向分布算法，以决策树为基函数的提升方法称为提升树，对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树，其根据特征x<v与x>v将根结点直接连接两个叶结点，以作为决策树桩。提升树模型可以 阅读全文
摘要：
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学 阅读全文
摘要：
常用的核函数： 1、多项式核函数 对应的支持向量机是一个p次多项式分类器，在此情形下，分类决策函数成为： （来自前面关于支持向量机w的估计，因而分类决策函数转为今儿通过核函数的内积将 映射后对分类决策函数进行替换得到上f(x)式子） 2、高斯核函数 对应的支持向量机是高斯径向基函数分类器，在此情形下 阅读全文
摘要：
对于线性分类问题，线性分类支持向量机效果很好。但是当碰到无法直线分开的时候，就涉及通过曲线(非线性模型)将它们正确分开。由于非线性问题往往不好解，则通过进行非线性变换将非线性问题转换为线性问题，通过求解变换后的线性问题来求解原非线性问题。 非线性分类问题： 一般来说，对于给定的训练数据集T={(x1 阅读全文
摘要：
对于线性支持向量机学习来说，模型为分离超平面w*x+b*=0及决策函数f(x)=sign(w*x+b*)，其学习策略为软间隔最大化，学习算法为凸二次规划。线性支持向量机学习还有另外一种解释，也就是最小化如下目标函数： 第一项是经验损失，函数： 称为合页损失函数，下标+表示以下取正值的函数： 那么以上 阅读全文
摘要：
线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立，因此这时候需要将硬间隔最大化，使其变成软间隔最大化。 假定给定特征空间上的训练数据集：T={(x1,y1),(x2,y2),...(xn,yn)}，xi为第i个特征向量，yi为xi的类标记， 阅读全文
摘要：
拉格朗日对偶问题的转换可以参考：https://www.cnblogs.com/90zeng/p/Lagrange_duality.html 拉格朗日函数泛化的KKT条件而得出的求解函数极大极小问题，可参考：https://www.cnblogs.com/zhangchaoyang/articles 阅读全文
摘要：
支持向量机的学习策略就是间隔最大化，形式转化为求解凸二次规划问题。该算法就是求解凸二次规划的最优化算法。 当训练数据线性可分时候，通过硬间隔最大化，学习线性分类器，称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器，称为软间隔最大化；当数据线性不可分时，通过使用核技巧及 阅读全文