摘要：
拉格朗日对偶问题的转换可以参考：https://www.cnblogs.com/90zeng/p/Lagrange_duality.html 拉格朗日函数泛化的KKT条件而得出的求解函数极大极小问题，可参考：https://www.cnblogs.com/zhangchaoyang/articles 阅读全文
摘要：
支持向量机的学习策略就是间隔最大化，形式转化为求解凸二次规划问题。该算法就是求解凸二次规划的最优化算法。 当训练数据线性可分时候，通过硬间隔最大化，学习线性分类器，称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器，称为软间隔最大化；当数据线性不可分时，通过使用核技巧及 阅读全文
摘要：
二项logistic回归模型符合如下概率分布： 其中wx表示w和x的内积 上式同样也可以表示为： 其中p=P(Y=1|x) 二分类数据集(x1,y1),(x2,y2),....(xn,yn) 将设p=P(Y=1|x)=π(x)，则1-p=P(Y=0|x)=1-π(x) 那么观测值的概率发生概率同样能 阅读全文
摘要：
CART树： 该树的生成就是递归的构建二叉决策树的过程，对回归树用平方误差最小化准则，对分类树用gini指数最小化准则，进行特征选择，生成二叉树。 （1）回归树 假设X和Y分别为输入和输出变量，Y为连续变量，给定数据集D＝{(x1,y1),(x2,y2),...(xn,yn)} 假设输入空间划分为M 阅读全文
摘要：
ID3算法： ID3算法就是在决策树上各个结点应用信息增益准则作为特征筛选，然后递归的构建决策树。具体算法如下所示： 输入：训练数据集D，特征集A，阈值e 输出：决策树T （1）若D中所有实例属于同一类Ck，则T为单结点树，并将Ck作为该结点的类标记，返回T （2）若A为空，则T为单结点树，并将D中 阅读全文
摘要：
决策树本质就是从训练数据集中归纳出一组分类规则，通过训练与数据集矛盾较小的决策树，同时具有较好的泛化能力。 通常该算法是一个递归的选择最优特征，并根据该特征对训练数据集进行分割，使得对各个子数据集具有较好的分类的过程。最开始将所有特征都放置在根结点， 选择最优特征，按照特征将训练集进行划分，使各子集 阅读全文