第九节 模型选择和调优

# 交叉验证:将拿到的训练数据,分为训练集和验证集,以下图为例:将数据分成四份,其中一份作为验证集,然后经过5次测试,每次更换不同的验证集,即得到5组模型的结果,取平均值作为最终结果,又称4折交叉验证,一般经验都是做10折交叉验证
模型调优最主要的是在业务方向进行,大概占到80%的贡献度,而参数调优对模型的贡献度只在5%左右
# 网格搜索:即超参数搜索,有很多参数是需要手动指定的(如K-近邻算法中的K值),这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证进行评估。最后选出最优参数组合建立模型

'''
from sklearn.model_selection import GridSearchCV  # 交叉验证-网格搜索API
gcv = GridSearchCV(estimator='', param_grid=None, cv=None)
对估计器的指定参数值进行详尽搜索
estimator:估计器对象
param_grid:估计器参数,字典形式
cv:指定几折交叉验证
fit:输入训练数据
score:准确率
结果分析:
    best_score_:在交叉验证中验证的最好结果
    best_estimator_:最好的参数模型
    cv_results_:每次交叉验证后的验证集准确率结果和训练集准确率结果
'''

# 对K-近邻算法进行调优
from sklearn.neighbors import  KNeighborsClassifier
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

def knncls():
    """K-近邻预测用户签到位置,数据来源:https://www.kaggle.com/c/facebook-v-predicting-check-ins/data"""
    # 读取数据
    data = pd.read_csv(r"")
    # 处理数据

    # 1.缩小数据,查询数据筛选
    data = data.query("x>1.0 & x<1.25 & y>2.5 & y<2.75")

    # 2.处理时间数据,将时间戳转换成日期格式,unit转换单位s
    time_value = pd.to_datetime(data['time'], unit='s')

    # 3.把日期格式转换成字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 4.构造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 5.把时间戳特征删除
    data = data.drop(['time'], axis=1)

    # 6.把签到数少于n个目标位置删除
    place_count = data.groupby('place_id').count()
    tf = place_count[place_count.row_id>3].reset_index()
    data = data[data['place_id'].isin(tf.place_id)]

    # 7.取出数据当做的特征值(x)和目标值(y)
    y = data['place_id']
    x = data.drop(['place_id'], axis=1)

    # 8.将数据分割成训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程(标准化)
    std = StandardScaler()
    # 对训练集和测试集的特征值进行标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    # 进行算法流程,n_neighbors取多少个最近邻样本进行类别统计
    knn = KNeighborsClassifier()

    # 构造网格搜索需要调优的参数
    param = {"n_neighbors":[3, 5, 7, 10]}
    # 进行网格搜索
    gcv = GridSearchCV(estimator=knn, param_grid=param, cv=10)
    gcv.fit(x_train, y_train)
    print('在测试集上的准确率:', gcv.score(x_test, y_test))
    print('在交叉验证中最好的结果:', gcv.best_score_)
    print('选择的最好的模型是:', gcv.best_estimator_)

if __name__ == "__main__":
    knncls()

 

posted @ 2020-03-26 14:15  kog_maw  阅读(270)  评论(0编辑  收藏  举报