摘要：
为什么要找负梯度？ 函数值沿着梯度的方向增加的最快，逆着梯度的方向函数值减小的最快。 因此我们用上一个学习器f_T-1与目标值y的差距（注意：是损失函数而不是原始的偏差y_i - y_p）的负梯度作为拟合当前学习器f_T的目标。 我们希望在拟合f_T的时候能降低f_T-1 - y的差距。 如果拟合第 阅读全文
摘要：
串行集成 子学习器间存在强依赖关系，典型的是boosting系列： GBDT（两种高效实现：Xgboost 高效并行实现（代价函数引入二阶展开并加入正则项），LightGBM GBDT算法的（多机）分布式高效框架） 并行集成 子学习器之间不存在强依赖关系，典型的是Bagging系列：如Random 阅读全文
摘要：
纵坐标：真正例率 正样本被正确召回的比例 横坐标：假正例率（分子是预测为正实际为反，分母是负样本） 负样本被错误找回的比例 因此在ROC曲线的面积AUC，可以理解为是固定FPR，正样本的正确召回率；或者固定TPR，负样本的正确召回率。（样本预测的排序质量） 因此AUC越大越好。 显然，我们关注的是模 阅读全文