摘要: 对一个学习算法除了通过实验估计其泛化性能,还需要更好的了解泛化能力的原因,偏差-方差分解时解释算法泛化性能的一种重要的工具。 对于测试样本x,令yD为x在数据集中的标记(可能存在噪声导致标记值和真实值不同),y为x的真实值,f(x;D)在训练集D上学得模型f在x上的输出。以回归任务为例: 学习算法的 阅读全文
posted @ 2017-03-16 20:23 罐装可乐 阅读(10260) 评论(0) 推荐(0) 编辑
摘要: 1、主要内容 介绍随机森林的算法原理以及推导过程 2、bagging思想 bagging思想通过对样本的重复又放回的抽样得到M个不同的训练数据集,然后对每一份训练数据都训练出一个算法,最后使用blending思想进行组合可以采用uniform blending平均每个结果也可以采用加权blendin 阅读全文
posted @ 2017-03-16 16:24 罐装可乐 阅读(798) 评论(0) 推荐(0) 编辑
摘要: 宽度优先搜索 1、二叉树的序列化和反序列化 在序列化过程中使用数据存储后然后从前往后依次访问子节点,避免使用栈,相当于是利用数据模仿栈的功能,同时空节点也进入数组,但是在访问时需要跳过节点为空的,这样就完成了二叉树的序列化。在反序列化时,使用一个栈存储已经生成的二叉树结构,每次生成新的节点时加到队列 阅读全文
posted @ 2017-03-16 10:12 罐装可乐 阅读(263) 评论(0) 推荐(0) 编辑
摘要: 1、主要内容 介绍提升树模型以及梯度提升树的算法流程 2、Boosting Tree 提升树模型采用加法模型(基函数的线性组合)与前向分步算法,同时基函数采用决策树算法,对待分类问题采用二叉分类树,对于回归问题采用二叉回归树。提升树模型可以看作是决策树的加法模型: 其中T()表示决策树,M为树的个数 阅读全文
posted @ 2017-03-15 23:03 罐装可乐 阅读(22848) 评论(3) 推荐(0) 编辑
摘要: 1、主要内容 介绍集成学习,然后讲述boosting和bagging的区别与联系,同时对adaBoost进行推导然后进行gbdt的推导,最后比较随机森林和gdbt的区别和联系。 2、集成学习 集成学习(ensamble learning)通过构建多个学习器来完成任务。集成学习的一般结构:先产生一组“ 阅读全文
posted @ 2017-03-15 16:37 罐装可乐 阅读(2371) 评论(0) 推荐(0) 编辑
摘要: 1、主要内容 逻辑回归的推导,分别推导出y={0,1}和y = {-1, +1},之前关于林轩田老师和李航老师关于逻辑回归的推导弄混了,林轩田老师的推导是建立在后面的—1, +1的分类,李航老师的是关于0, 1的推导。 2、关于逻辑斯蒂模型 逻辑斯蒂模型从逻辑斯蒂分布得到,这一部分见李航老师的《统计 阅读全文
posted @ 2017-03-14 18:08 罐装可乐 阅读(8148) 评论(2) 推荐(0) 编辑
摘要: 一下内容转载自:https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。 1) ROC曲线 阅读全文
posted @ 2017-03-09 22:37 罐装可乐 阅读(3360) 评论(0) 推荐(0) 编辑
摘要: 1、主要内容 在已经使用某个模型的情况下,如何将这些模型进行融合使得模型更好的预测,这种技术就是融合模型技术。 2、融合模型的引入 你要买股票,有T个朋友做参考你听谁的?买还是不买? 你可以采取的措施: 选择最有价值的朋友的推荐 对应到机器学习就是一个模型的选择,就是验证(validation)选择 阅读全文
posted @ 2017-03-01 22:12 罐装可乐 阅读(1009) 评论(0) 推荐(0) 编辑
摘要: 以下内容摘选自http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html 1、决策数的定义 决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这 阅读全文
posted @ 2017-03-01 15:43 罐装可乐 阅读(485) 评论(0) 推荐(0) 编辑
摘要: 1、前面的知识基础 关于ctr预测: 常用的模型就是逻辑回归,线性预测可以直观的反应出各个变量在预测中的权重比较有利于运营部门,大约70%的模型都是采用逻辑回归模型。 首先就是从用户信息广告信息以及上下文信息中提取出特征来然后进行训练。 2、数学基础 局部最优解如何成为全局最优解?对于凸函数来说以上 阅读全文
posted @ 2017-02-22 15:34 罐装可乐 阅读(2566) 评论(0) 推荐(0) 编辑