GBDT、XGBOOST、LightGBM对比学习及调参
摘要：一、概述。 因为工作原因，LightGBM 、 XGBOOST 、GBDT 是不可避免要接触的。这里仅仅记录个人的学习经验。 总的认识： LightGBM > XGBOOST > GBDT （效果及易用性） 都是调参数比较麻烦。（个人感觉LightGBM和XGBOOST的默认参数已经很强大了。） 二
阅读全文
posted @ 2019-02-27 11:03
02 2019 档案
sklearn,交叉验证中的分层抽样
摘要：StratifiedKFold用法类似Kfold，但是他是分层采样，确保训练集，测试集中各类别样本的比例与原始数据集中相同。 例子： import numpy as np from sklearn.model_selection import KFold,StratifiedKFold 作者：wqh
阅读全文
posted @ 2019-02-25 16:50
sklearn调参（验证曲线，可视化不同参数下交叉验证得分）
摘要：一 、 原始方法： 思路： 1. 参数从 0+∞ 的一个 区间 取点， 方法如： np.logspace(-10, 0, 10) ， np.logspace(-6, -1, 5) 2. 循环调用cross_val_score计算得分。 在SVM不同的惩罚参数C下的模型准确率。 效果： 二、高级方法（
阅读全文
posted @ 2019-02-25 15:34
SKlearn库学习曲线
摘要：思想： # 1.现将所有样本用交叉验证方法或者（随机抽样方法) 得到 K对 训练集-验证集# 2.依次对K个训练集，拿出数量不断增加的子集如m个，并在这些K*m个子集上训练模型。# 3.依次在对应训练集子集、验证集上计算得分。# 4.对每种大小下的子集，计算K次训练集得分均值和K次验证集得分均值，共
阅读全文
posted @ 2019-02-25 14:12
