【sklearn】网格搜索 from sklearn.model_selection import GridSearchCV
GridSearchCV用于系统地遍历模型的多种参数组合，通过交叉验证确定最佳参数。
1.GridSearchCV参数
# 不常用的参数
- pre_dispatch
-
没看懂
- refit
- 默认为True
- 在参数搜索参数后，用最佳参数的结果fit一遍全部数据集
- iid
- 默认为True
- 各个样本fold概率分布一致，误差估计为所有样本之和
# 常用的参数
- cv
- 默认为3
- 指定fold个数，即默认三折交叉验证
- verbose
- 默认为0
- 值为0时，不输出训练过程；值为1时，偶尔输出训练过程；值>1时，对每个子模型都输出训练过程
- n_jobs
- cpu个数
- 值为-1时，使用全部CPU；值为1时，使用1个CPU；值为2时，使用2个CPU
- estimator
- 分类器
- param_grid
- 参数范围，值为列表/字典
- scoring
- 准确度评价标准，socring参数选择链接
2.常用属性
- best_score_
- 最佳模型下的分数
- best_params_
- 最佳模型参数
- grid_scores_
- 模型不同参数下交叉验证的平均分
- cv_results_ 具体用法
- 模型不同参数下交叉验证的结果
- best_estimator_
- 最佳分类器
注：grid_scores_在sklearn0.20版本中将被删除。使用cv_results_替代
3.常用函数
- score(x_test,y_test)
- 最佳模型在测试集下的分数
4.例子
1 # -*- coding: utf-8 -*- 2 """ 3 # 数据：20类新闻文本 4 # 模型：svc 5 # 调参：gridsearch 6 """ 7 ### 加载模块 8 import numpy as np 9 import pandas as pd 10 11 ### 载入数据 12 from sklearn.datasets import fetch_20newsgroups # 20类新闻数据 13 news = fetch_20newsgroups(subset='all') # 生成20类新闻数据 14 15 ### 数据分割 16 from sklearn.cross_validation import train_test_split 17 X_train, X_test, y_train, y_test = train_test_split(news.data[:300], 18 news.target[:300], 19 test_size=0.25, # 测试集占比25% 20 random_state=33) # 随机数 21 ### pipe-line 22 from sklearn.feature_extraction.text import TfidfVectorizer # 特征提取 23 from sklearn.svm import SVC # 载入模型 24 from sklearn.pipeline import Pipeline # pipe_line模式 25 clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', analyzer='word')), 26 ('svc', SVC())]) 27 28 ### 网格搜索 29 from sklearn.model_selection import GridSearchCV 30 parameters = {'svc__gamma': np.logspace(-1, 1)} # 参数范围（字典类型） 31 32 gs = GridSearchCV(clf, # 模型 33 parameters, # 参数字典 34 n_jobs=1, # 使用1个cpu 35 verbose=0, # 不打印中间过程 36 cv=5) # 5折交叉验证 37 38 gs.fit(X_train, y_train) # 在训练集上进行网格搜索 39 40 ### 最佳参数在测试集上模型分数 41 print("best:%f using %s" % (gs.best_score_,gs.best_params_)) 42 43 ### 测试集下的分数 44 print("test datasets score" % gs.score(X_test, y_test)) 45 46 ### 模型不同参数下的分数 47 # 方式一(0.20版本将删除) 48 print(gs.grid_scores_) 49 50 # 方式二(0.20推荐的方式) 51 means = gs.cv_results_['mean_test_score'] 52 params = gs.cv_results_['params'] 53 54 for mean, param in zip(means,params): 55 print("%f with: %r" % (mean,param))
