(补) 决策树-集成学习几个小点

决策树简单回顾

不在反复重复地加深认知了

• 决策树由节点和边, 每个叶子节点表示的就是一个最终决策结果
• 一个决策树与对应的决策边界,域值划分而已

训练一颗决策树, 需要三个要素

• 树的形状

• 每一个决策的 阀值 $\theta_i$

• 叶节点的值(最终的决策输出)

最为复杂的一部分是,如何根据数据去确定一棵树的形状, 当然可以穷举, 列出所有可能的树形状,再来选, 就有点耗时, 实际中不大行.

信息熵

之前的篇幅, 已经多次说了来源及推导, 用来衡量不确定性的大小

$H = -\sum \limits _{i} p_i log\ p_i$

case

给定一组数据 {0,0,1,1,0,1,1,1} 的信息熵

$=\frac {3}{8}log{\frac {3}{8}} + \frac{5}{8} log(\frac {5}{8})$

不确定性的减小 (信息增益)= 原来的不确定性 - 分割后的不确定性

停止分割条件

• 当一个叶节点, 里面包含的所有样本都属于同一类别时
• 当一个叶节点, 里面包含的所有特征都一样时

过拟合

就是节点个数过多的情况下会发生呀, 因此需要优化

• 设置数的最大深度

• 叶节点的样本数小于阀值时停止分裂

• 具体阀值的选取, 可用交叉验证的方式调参

连续型

通常的办法可以是,对其排序, 然后 离散化

应用于回归问题

就用 标准差 来衡量回归问题中,量化的不确定性

总体评估用 MSE 来评估.

... 这些内容都是常识, 不做过多探讨了, 只是稍微回顾一波而已.

集成模型

• Bagging
  • 随机森林
• Boosting
  • GBDT, XGboost...

集成学习的目的, 就是降低模型的不确定性, 从效果来说. 多个人做决策还是优于一个人的, 像我之前要我一个人搭建数据库, 需求调研, 方案, ER模型, 表字段, 代码...全流程都要我一个人来做?? 真的,个人的能力是有限的, 如果在配几个人手来共同探讨, 决策, 那肯定是要优于个人的.

Baggiing 的预测

是对测试样本, 分别用不同的模型去预测, 然后 "投票"确定, (随机森林), 是可以并行来做的. 我同时开好几台机器来训练不同的模型.

Bagging 的核心在于, 通过集成的方式提高模型的稳定性.

就是跟咱投资决策一样的, 不要把鸡蛋都放一个篮子里, 要进行风险分散, 差不多是这个意思.

case

一个比较经典的 专家决策 案例:

说,有7位专家, 每位专家在决策上犯错误的概率是 0.3, 则求共同决策时, 最终犯错的概率是多少?

(采用少数服从多数的原则哦)

这就是一个中学题哈, 其实可以分为3中情况

• 4 错, 3对
  • $0.3 ^4 * 0.7^3*C_7^4$
• 5错, 2对
  • $0.3^5* 0.7^2 *C_7^5$
• 6错, 1对
  • $0.3^6*0.7* C_7^6$
• 7错, 0对
  • $0.3^7$

然后求和可以得到, 0.126 <= 0.3

降低风险, 应该是可以证明的,从数学上, 我还没想好, 如何证明

假如有 n 个模型, 每个模型在预测时的方差为 $\sigma^2$, 则通过 n 个模型一起预测时的方差(平均): $\frac {\sigma^2}{2}$

bagging vs boosting

共同点: 都是通过多个模型 去做训练和预测, 每个模型呢, 都是 base weak .

就是要找一些较弱的 分类器, 太强就变专家了, 汉东不允许这么牛逼的人存在

对于 bagging, 单个模型太强的话, 就很容易 overfitting

对于 boosting, 单个模型的设定基础, 就是很弱, 核心是以弱胜强, 单个模型拿出来, 容易 underfitting

怎么说呢, 我个人的接触来看, 用 bagging 会多一点, 就是对同一份数据, 并行地训练多个模型, 然后再 voting 这是我很好地能够向老板解释清楚的.

当然现阶段会更偏向 boosting 多一点, 理论上面认识, 会更自信一些, 当然, 调参也是要市场复习.

在市场上我看这个boosting 当时非常火爆的, 比如 XGboost, 于是接下来几篇的内容又有了, 推导 XGBoost 算法原理, 跟着大佬论文, 试着推导一波看看.