随笔分类 -  决策树

方差偏差困境
摘要:1 偏差指的是建立的预测模型与真实模型之间差值的期望 2 方差指的是建立的预测模型预测值本身的波动大小 当模型简单时,或欠拟合,模型的偏差大,方差小. 当模型复杂时,或过拟合,模型的偏差小,方差大. 高偏差处理方法:(1) 增加特征;(2)boosting方法; 高方差处理方法:(1)降维;(2)增 阅读全文

posted @ 2020-01-01 18:34 吃我一枪 阅读(419) 评论(0) 推荐(0) 编辑

lgb参数及调参
摘要:1 参数含义 max_depth: 设置树的最大深度,默认为-1,即不限制最大深度,它用于限制过拟合 num_leave: 单颗树的叶子数目,默认为31 eval_metric: 评价指标,可以用lgb自带的,也可以自定义评价函数, # 如下,评价函数为l1,程序会自动将预测值和标签传入eval_m 阅读全文

posted @ 2019-11-04 18:35 吃我一枪 阅读(5701) 评论(0) 推荐(0) 编辑

lgb模板
摘要:一 回归 1 提取训练集和测试集 2 制作标签,并检查标签是否有异常值 2 划分数据 https://www.jb51.net/article/152574.htm 3 建立model,写评价函数 https://blog.csdn.net/snailpeople/article/details/8 阅读全文

posted @ 2019-10-20 11:18 吃我一枪 阅读(190) 评论(0) 推荐(0) 编辑

GridSearchCV和RandomizedSearchCV调参
摘要:1 GridSearchCV实际上可以看做是for循环输入一组参数后再比较哪种情况下最优. 使用GirdSearchCV模板 # Use scikit-learn to grid search the batch size and epochs import numpy from sklearn.m 阅读全文

posted @ 2019-06-23 14:39 吃我一枪 阅读(1545) 评论(0) 推荐(0) 编辑

csr_matrix用法
摘要:1 csr_matrix默认对未填充的位置置为0, https://blog.csdn.net/chao2016/article/details/80344828 阅读全文

posted @ 2019-06-17 13:13 吃我一枪 阅读(4873) 评论(0) 推荐(0) 编辑

sklearn版本
摘要:10.19.0以前的sklearn版本才有cross_validation包,这个时候不要用model_selection导入StratifiedKFold,要用cross_validation,0.20.0换成了别的, from sklearn.cross_validation import St 阅读全文

posted @ 2019-06-08 18:57 吃我一枪 阅读(1052) 评论(0) 推荐(0) 编辑

代码
摘要:#!/usr/bin/python # -*- coding:utf-8 -*- import pandas as pd import numpy as np import matplotlib as mpl import math import warnings import gc from gensim import corpora, models, similarities from s... 阅读全文

posted @ 2019-05-30 13:18 吃我一枪 阅读(250) 评论(0) 推荐(0) 编辑

xgboost
摘要:参考:https://blog.csdn.net/han_xiaoyang/article/details/52665396 https://dnc1994.com/2016/04/rank-10-percent-in-first-kaggle-competition/ http://www.mux 阅读全文

posted @ 2019-05-03 19:17 吃我一枪 阅读(78) 评论(0) 推荐(0) 编辑

导航