摘要：
转自：http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy1/index.html 探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探 转自：http://www.ibm.com/developerworks/cn/web 阅读全文
摘要：
好久不用mysql，今天突然想用的时候， mysql -uroot -p 直接报了下面的错误 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) mac可以在设置里面 阅读全文
摘要：
前面说了那么多，一直围绕着分类问题讨论，下面我们开始学习回归树吧， cart生成有两个关键点 如何评价最优二分结果 什么时候停止和如何确定叶子节点的值 cart分类树采用gini系数来对二分结果进行评价，叶子节点的值使用多数表决，那么回归树呢？我们直接看之前的一个数据集（天气与是否出去玩，是否出去玩 阅读全文
摘要：
在之前的决策树到集成学习里我们说了决策树和集成学习的基本概念（用了adaboost昨晚集成学习的例子），其后我们分别学习了决策树分类原理和adaboost原理和实现， 上两篇我们学习了cart（决策分类树），决策分类树也是决策树的一种，也是很强大的分类器，但是cart的深度太深，我们可以指定cart 阅读全文
摘要：
上一篇我们学习和实现了CART（分类回归树），不过主要是针对离散值的分类实现，下面我们来看下连续值的cart分类树如何实现 思考连续值和离散值的不同之处： 二分子树的时候不同：离散值需要求出最优的两个组合，连续值需要找到一个合适的分割点把特征切分为前后两块 这里不考虑特征的减少问题 切分数据的不同： 阅读全文
摘要：
前面我们了解了决策树和adaboost的决策树墩的原理和实现，在adaboost我们看到，用简单的决策树墩的效果也很不错，但是对于更多特征的样本来说，可能需要很多数量的决策树墩 或许我们可以考虑使用更加高级的弱分类器，下面我们看下CART（Classification And Regression 阅读全文
摘要：
上两篇说了决策树到集成学习的大概，这节我们通过adaboost来具体了解一下集成学习的简单做法。 集成学习有bagging和boosting两种不同的思路，bagging的代表是随机森林，boosting比较基础的adaboost，高级一点有GBDT，在这里我也说下我理解的这两个做法的核心区别： 随 阅读全文
摘要：
如果你看了前面几篇博客，我们说了决策树，说了adaboost，这次我们说下模型训练和衡量模型的好坏 其实我们已经训练了模型了，例如决策树的生成时模型训练，adaboost的实现也是模型训练的过程，所以我们已经训练了好几个模型，只是那个具体的模型，并且我们没有把模型保存下来 可能觉得自己不是在训练模型 阅读全文
摘要：
上一篇博客我们看了一个决策树分类的例子，但是我们没有深入决策树分类的内部原理。 这节我们讨论的决策树分类的所有特征的特征值都是离散的，明白了离散特征值如何分类的原理，连续值的也不难理解。 决策树分类的核心在于确定那一个特征的那一个特征值分类最有效，可能不同的场景，每个人采用的衡量方法也不一样，这里我 阅读全文
摘要：
还是用上一篇文章的例子来阐述从单纯的决策树到集成学习的过程 数据集还是100个数据点，分布如下（x，y坐标只保留一位小数） 决策树 简单的决策树的结果可能是这样的，这是一棵很可能极度过拟合的决策树。 决策树生成的逻辑大概是这样的：遍历每个特征的每个特征值，计算最优的特征以及特征值来分割训练集， 显然 阅读全文