XGB调参思路

（1）选择较高的学习率，例如learning_rate=0.1，这样可以减少迭代用时。

（2）然后对 (max_depth , min_child_weight) ,

（3）在第二步确定的基础上调整 gamma ,

（4）subsample, colsample_bytree 这些参数进行调整。

（5）调整正则化参数 lambda , alpha

（6）降低学习率，

这些参数的合适候选值为：

max_depth：[3, 5, 6, 7, 9, 12, 15, 17, 25]

min_child_weight：[1, 3, 5, 7]

gamma：[0, 0.05 ~ 0.1, 0.3, 0.5, 0.7, 0.9, 1]

subsample：[0.6, 0.7, 0.8, 0.9, 1]

colsample_bytree：[0.6, 0.7, 0.8, 0.9, 1]

调整正则化参数 lambda , alpha，这些参数的合适候选值为

alpha：[0, 0.01~0.1, 1]

lambda ：[0, 0.1, 0.5, 1]

降低学习率，继续调整参数，学习率合适候选值为：[0.01, 0.015, 0.025, 0.05, 0.1,0.2]

LGBM调参思路