机器学习：集成算法 - xgboost

xgboost（eXtreme Gradient Boosting）

• 大规模并行 boosting tree 的工具，据说是现在最好用的 boosting 算法，针对传统 GBDT 算法做了很多改进
  
  

xgboost 和传统 GBDT 的区别

• GBDT 基学习器只用 CART 树，而 xgboost 除了用 CART 树，还可以用其他分类器
• 优化目标函数里，用到了二阶导数信息，能够更快地收敛，而普通的 GBDT 只用到一阶
• 优化目标函数里，对衡量模型复杂度的正则项进行了改进，GBDT 只对叶子个数做惩罚，而 xgboost 对叶子个数做惩罚的同时，还对叶子节点的权值做惩罚，有效地避免了过拟合
• 利用优化目标函数的推导作为树的分裂准则
• 在分割节点、寻找最佳分割点的时候，可以引入并行计算
• 利用了特征的稀疏性
• 能处理特征缺失
• 支持列采样
  
  

输出函数

设有样本数据 $\large (x_{i}, y_{i})_{i=1}^{n}$
  
第 j 棵树记为 $\large f_{j}(x)$
  
则由 m 棵树组成的 xgboost 输出为
  
  $\large y_{i} = F_{m}(x_{i}) = F_{m-1}(x_{i}) + f_{m}(x_{i}) = \sum_{j=1}^{m}f_{j}(x_{i})$
  
看起来就和 GBDT 一样，但 xgboost 的优化函数不一样

优化目标函数

xgboost 的优化目标函数为
  
  $\large Obj = \sum_{i=1}^{n}L(y_{i}, F_{m}(x_{i})) + \Omega(F)$
  
  $\large \Omega(F) = \gamma T +\frac{1}{2}\lambda\sum_{k}^{T}(||w_{k}||^{2})$
  
  其中 $\large T$ 是所有树的叶子节点的总数，$\large w$ 是每个叶子节点的系数
  
泰勒展开公式
  
  $\large f(x+\Delta x) = \frac{f(x)}{0!} + \frac{f^{'}(x)}{1!}\Delta x + ... + \frac{f^{(n)}(x)}{n!}\Delta x^{n} + R_{n}(x)$
  
  其中 $\large R_{n}(x)$是泰勒公式的余项，是 $\large \Delta x^{n}$的高阶无穷小
  
将优化目标函数按泰勒公式展开，并取前三项目得到近似值
  
  $\large Obj = \sum_{i=1}^{n}L(y_{i}, F_{m}(x_{i})) + \Omega(F)$
  
     $\large = \sum_{i=1}^{n}L(y_{i}, y_{i(m-1)}+f_{m}(x_{i})) + \Omega(F)$
  
     $\large = \sum_{i=1}^{n}[L(y_{i}, y_{i(m-1)}\ ) +\frac{\partial L(y_{i}, y_{i(m-1)}\ )}{\partial y_{i(m-1)}}f_{m}(x_{i})+ \frac{1}{2}\frac{\partial^{2} L(y_{i}, y_{i(m-1)}\ )}{\partial^{2} y_{i(m-1)}}f^{2}_{m}(x_{i})] + \Omega(F)$
  
将一阶导数记为 $\large g_{i}$ 将二阶导数记为 $\large h_{i}$ 改写为
  
  $\large Obj = \sum_{i=1}^{n}[L(y_{i}, y_{i(m-1)}) +g_{i}f_{m}(x_{i}) + \frac{1}{2}h_{i}f^{2}_{m}(x_{i})] + \Omega(F)$
  
由于在计算第 m 棵树的时候，前 m-1 棵树已经确定，所以可以只保留和第 m 棵树有关的项，将优化目标改写为
  
  $\large Obj = \sum_{i=1}^{n}[g_{i}f_{m}(x_{i}) + \frac{1}{2}h_{i}f^{2}_{m}(x_{i})] + \Omega(f_{m})$
  
设 $\large f_{m}$ 的每个叶子节点是输出一个固定的值 $\normalsize w_{j}$
设 $\large I_{j}$ 代表所有会被映射到叶子节点 $\normalsize j$ 的 $\normalsize x_{i}$ 集合
设 $\large T$ 代表 $\normalsize f_{m}$ 的叶子节点数
  
进一步改写为
  
  $\large Obj = \sum_{j=1}^{T}[(\sum_{i\in I_{j}}g_{i})w_{j} + \frac{1}{2}(\sum_{i\in I_{j}}h_{i})w_{j}^{2}] + \gamma T +\frac{1}{2}\lambda\sum_{j=1}^{T}(w_{j}^{2})$
  
     $\large = \sum_{j=1}^{T}[(\sum_{i\in I_{j}}g_{i})w_{j} + \frac{1}{2}(\sum_{i\in I_{j}}h_{i}+\lambda)w_{j}^{2}] + \gamma T$
  
设有
  
  $\large G_{j} = \sum_{i\in I_{j}}g_{i}$
  $\large H_{j} = \sum_{i\in I_{j}}h_{i}$
  
可改写为
  
  $\large Obj = \sum_{j=1}^{T}[(G_{j}w_{j} +\frac{1}{2}(H_{j}+\lambda)w_{j}^{2}] + \gamma T$
  
对 $\large w_{j}$ 求导并另导数为 0
  
  $\large G_{j}+(H_{j}+\lambda)w_{j} = 0$
  
得到最优的
 
  $\large w_{j} = -\frac{G_{j}}{H_{j} + \lambda}$
 
  $\large Obj = -\frac{1}{2}\sum_{j=1}^{T} \frac{G_{j}^{2}}{H_{j}+\lambda} + \gamma T$
 
用于衡量树的优劣的就是 $\large Obj$，其值越小，树结构越好

分裂叶子节点的依据

假设现在有一个叶子节点，属于这个叶子节点的样本的一阶导数的和为 $\large G_{M}$，二阶导数的和为 $\large H_{M}$，如果需要对这个叶子节点分裂成两个节点，那么叶子节点数量就 +1，假设分到左叶子的样本的值为 $\large G_{L}$ 和 $\large H_{L}$，分到右叶子的样本的值为 $\large G_{R}$ 和 $\large H_{R}$，则有 $\large G_{L} + G_{R} = G_{M}$ 以及 $\large G_{L} + G_{R} = H_{M}$，那么 $\large Obj$ 减小的值为
 
  $\large Gain = (-\frac{1}{2}\frac{G_{M}^{2}}{H_{M} + \lambda} + \gamma T) - (-\frac{1}{2}\frac{G_{L}^{2}}{H_{L}+\lambda} - \frac{1}{2}\frac{G_{R}^{2}}{H_{R} + \lambda} + \gamma(T+1))$
 
      $\large = \frac{1}{2}[\frac{G_{L}^{2}}{H_{L} + \lambda} + \frac{G_{R}^{2}}{H_{R} + \lambda} - \frac{(G_{L} + G_{R})^{2}}{(H_{L} + H_{R})+\lambda}] - \gamma$
 
选择使得 $\large Gain$ 值最大的分割特征和分割点
  
并计算分割后新的叶子节点的系数
  
  $\large w_{L} = -\frac{G_{L}}{H_{L} + \lambda}$
  
  $\large w_{R} = -\frac{G_{R}}{H_{R} + \lambda}$
  
停止分割的条件
  ○ 如果最大的 $\large Gain$ 比 $\large \gamma$ 还小
  ○ 树已经达到了最大深度
  ○ 样本权重和小于某一个阈值

寻找最佳分裂点

• 精确算法 - 穷举法
    遍历所有特征的所有特征值，该方法精度高但计算量大
• 近似算法 - 分位点分割
    每个特征按照样本特征值的百分比选择候选分裂点
    近似法又有两种
    （1） 全局法：生成树之前就确定候选分裂点，这可以减少计算，但要一次取比较多的点
    （2） 局部法：每个节点确定候选分裂点，每次取的点较少，且可不断改善，但计算量大
• 近似算法 - 二阶导数的分位点分割
    同样是按百分比选择候选分裂点，但不是直接用特征值，而是用二阶导数 $\small h$
  
  

提高计算速度

• 提前计算和排序
   生成树的过程是串行的，在生成第 m 棵树时，第 m-1 棵树已经有了
   这样每个样本的一阶和二阶导数是已知的，可提前计算所有样本的 $\normalsize g$ 和 $\normalsize h$ 值，并提前排序
   如果是近似算法，还可以提前将各个分位点之间的 $\normalsize g$ 和 $\normalsize h$ 值进行累加得到 $\normalsize G$ 和 $\normalsize H$ 值
• 并行分裂节点
   每个节点的分裂都是独立互不影响的，所以可以并行计算
   每个节点的分裂要遍历所有特征，特征计算也可以并行处理
• 存储优化
   采用 Block 结构以稀疏矩阵 CSC 存储特征数据并排序，后续的并行计算可以重复使用 Block
   Block 按列存储，方便计算
   Block 的特征需要指向对应样本的导数值，会导致非连续内存访问，使用缓存预取来避免
   不同的 Block 可以存在不同的机器上，该方法对局部近似法尤其有效
   当数据太大无法全写入内存时，需要将 Block 压缩落盘，然后有独立的线程做读取解压
  
  

特征评价

xgboost 有三个指标用于对特征进行评价

• weight - 某个特征被用于分裂的次数
• gain - 某个特征被用于分裂时得到的平均增益
• cover - 某个特征在分裂时结点处的平均二阶导数
  
  

学习率（Shrinkage）

和 GBDT 一样，xgboost 也使用了学习率做 Shrinkage，在计算出了节点的 $\large w$ 值后，会乘以一个小于 1 的系数，这能够防止过拟合

列采样

xgboost 支持列抽样，能避免过拟合，同时能减少计算

稀疏数据

xgboost 能学习缺失值的分裂方向，在分裂的过程中，会尝试把所有特征缺失的样本都分入左节点，或是都分入右节点，看是哪边增益大，然后决定其分裂方向