XGB算法梳理
学习内容：
1.CART树
2.算法原理
3.损失函数
4.分裂结点算法
5.正则化
6.对缺失值处理
7.优缺点
8.应用场景
9.sklearn参数
1.CART树
CART算法是一种二分递归分割技术，把当前样本划分为两个子样本，使得生成的每个非叶子结点都有两个分支，因此CART算法生成的决策树是结构简洁的二叉树。由于CART算法构成的是一个二叉树，它在每一步的决策时只能是“是”或者“否”，即使一个feature有多个取值，也是把数据分为两部分。在CART算法中主要分为两个步骤
- 将样本递归划分进行建树过程
- 用验证数据进行剪枝
2.算法原理
输入：训练数据集$D$，停止计算的条件；
输出：CART决策树。
根据训练数据集，从根结点开始，递归地对每个结点进行一下操作，构建二叉决策树：
1）设结点的训练数据集为$D$，计算现有特征对该点数据集的基尼指数。此时，对每个特征A，对其可能取的每个值$a$，根据样本点计算对$A = a$的测试为“是”或“否”讲$D$分割成$D_1$和$D_2$两部分，计算$A = a$时的基尼指数。
2）在所有 可能的特征$A$以及他们所有可能的切分点$a$中，选择基尼指数最小的特征及其对应的切分点作为最优切分点，依最有特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3）对两个子结点递归地调用1），2），直至满足停止条件。
4）生成CART决策树。
3.损失函数
$L = \sum\limits_{x_i \leq R_m} (y_i - f(x_i))^2 + \sum\limits_{i=1}^K \Omega (f_k) $
4.分裂结点算法
使用基尼指数用于分裂结点的依据
概率分布的基尼指数定义为：$$Gini(p) = \sum\limits_{k=1}^K p_k (1-p_k) = 1 - \sum\limits_{k=1}^K p_k^2 $$
如果样本那集合D根据特征A是否取某一可能值$a$被分割成$D_1$和$D_2$两部分，即$$D_1 = \{(x,y) \leq D | A(x) = a \} , D_2 = D - D_1 $$
根据基尼指数值越大，样本集合不确定性就越大。
5.正则化
标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。 实际上，XGBoost以“正则化提升(regularized boosting)”技术而闻名。
$ \Omega (f) = \gamma T + \frac{1}{2} \lambda ||\omega||^2 $
6.对缺失值处理
XGBoost内置处理缺失值的规则。用户需要提供一个和其它样本不同的值，然后把它作为一个参数传进去，以此来作为缺失值的取值。XGBoost在不同节点遇到缺失值时采用不同的处理方法，并且会学习未来遇到缺失值时的处理方法。
7.优缺点
优点：
XGBoost可以实现并行处理，相比GBM有了速度的飞跃，LightGBM也是微软最新推出的一个速度提升的算法。 XGBoost也支持Hadoop实现。
XGBoost支持用户自定义目标函数和评估函数，只要目标函数二阶可导就行。
8.应用场景
评分系统，智能垃圾邮件识别，广告推荐系统
9.sklearn参数
class xgboost.XGBRegressor(max_depth=3, learning_rate=0.1, n_estimators=100, silent=True, objective='reg:linear', booster='gbtree', n_jobs=1, nthread=None, gamma=0, min_child_weight=1, max_delta_step=0, subsample=1, colsample_bytree=1, colsample_bylevel=1, reg_alpha=0, reg_lambda=1, scale_pos_weight=1, base_score=0.5, random_state=0, seed=None, missing=None, importance_type='gain', **kwargs)
max_depth: 参数类型(int) – Maximum tree depth for base learners. 树的最大深度
learning_rate: 参数类型(float) – Boosting learning rate (xgb’s “eta”).学习率
n_estimators: 参数类型(int) – Number of boosted trees to fit.优化树的个数
silent: 参数类型(boolean) – Whether to print messages while running boosting.在运行过程中是否打印流程
objective: 参数类型(string or callable) – Specify the learning task and the corresponding learning objective or a custom objective function to be used (see note below).明确学习任务
booster: 参数类型(string) – Specify which booster to use: gbtree, gblinear or dart.指定使用的booster
nthread: 参数类型(int) – Number of parallel threads used to run xgboost. (Deprecated, please use n_jobs).多线程
n_jobs: 参数类型(int) – Number of parallel threads used to run xgboost. (replaces nthread).多线程
gamma: 参数类型(float) – Minimum loss reduction required to make a further partition on a leaf node of the tree.增加分支时减少的最少损失
min_child_weight: 参数类型(int) – Minimum sum of instance weight(hessian) needed in a child.叶节点最小权重
max_delta_step: 参数类型(int) – Maximum delta step we allow each tree’s weight estimation to be.最大迭代次数
subsample: 参数类型(float) – Subsample ratio of the training instance.训练样本的采样率
colsample_bytree: 参数类型(float) – Subsample ratio of columns when constructing each tree.构建树时下采样率
colsample_bylevel: 参数类型(float) – Subsample ratio of columns for each split, in each level.构建每一分支时下采样率
reg_alpha: 参数类型(float (xgb's alpha)) – L1 regularization term on weights.L1正则化权重
reg_lambda: 参数类型(float (xgb's lambda)) – L2 regularization term on weights.L2正则化权重
scale_pos_weight: 参数类型(float) – Balancing of positive and negative weights.正负样本比率
base_score: – The initial prediction score of all instances, global bias.初始实例分数
seed: 参数类型(int) – Random number seed. (Deprecated, please use random_state).随机种子
random_state: 参数类型(int) – Random number seed. (replaces seed).随机种子
missing： 参数类型(float, optional) – Value in the data which needs to be present as a missing value. If None, defaults to np.nan.当出现缺失值时，使用该值代替。
importanc_type： 参数类型(string, default "gain") – The feature importance type for the feature_importances_ property: either “gain”, “weight”, “cover”, “total_gain” or “total_cover”.特征重要类型
**kwargs: 参数类型(dict, optional) –Keyword arguments for XGBoost Booster object. Full documentation of parameters can be found here:
