摘要: gbdt选择特征其实就是CART Tree的生成过程。gbdt的弱分类器默认选择的是CART TREE。其实也可以选择其他弱分类器的,选择的前提是低方差和高偏差。假设我们目前总共有 M 个特征。第一步我们需要从中选择出一个特征 j,做为二叉树的第一个节点。然后对特征 j 的值选择一个切分点 m. 一 阅读全文
posted @ 2019-05-15 22:26 Parallax 阅读(1478) 评论(0) 推荐(0) 编辑
摘要: (GBDT是通过梯度下降(作为残差 的近似)更新的决策树集成的boosting模型) 首先明确一点,gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树,这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差 阅读全文
posted @ 2019-05-15 22:20 Parallax 阅读(558) 评论(0) 推荐(0) 编辑