第九节 模型选择和调优

# 交叉验证：将拿到的训练数据，分为训练集和验证集，以下图为例：将数据分成四份，其中一份作为验证集，然后经过5次测试，每次更换不同的验证集，即得到5组模型的结果，取平均值作为最终结果，又称4折交叉验证，一般经验都是做10折交叉验证

模型调优最主要的是在业务方向进行，大概占到80%的贡献度，而参数调优对模型的贡献度只在5%左右

# 网格搜索：即超参数搜索，有很多参数是需要手动指定的（如K-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证进行评估。最后选出最优参数组合建立模型

'''
from sklearn.model_selection import GridSearchCV  # 交叉验证-网格搜索API
gcv = GridSearchCV(estimator='', param_grid=None, cv=None)
对估计器的指定参数值进行详尽搜索
estimator：估计器对象
param_grid：估计器参数，字典形式
cv：指定几折交叉验证
fit：输入训练数据
score：准确率
结果分析：
    best_score_：在交叉验证中验证的最好结果
    best_estimator_：最好的参数模型
    cv_results_：每次交叉验证后的验证集准确率结果和训练集准确率结果
'''

# 对K-近邻算法进行调优
from sklearn.neighbors import  KNeighborsClassifier
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

def knncls():
    """K-近邻预测用户签到位置，数据来源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data"""
    # 读取数据
    data = pd.read_csv(r"")
    # 处理数据

    # 1.缩小数据，查询数据筛选
    data = data.query("x>1.0 & x<1.25 & y>2.5 & y<2.75")

    # 2.处理时间数据，将时间戳转换成日期格式，unit转换单位s
    time_value = pd.to_datetime(data['time'], unit='s')

    # 3.把日期格式转换成字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 4.构造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 5.把时间戳特征删除
    data = data.drop(['time'], axis=1)

    # 6.把签到数少于n个目标位置删除
    place_count = data.groupby('place_id').count()
    tf = place_count[place_count.row_id>3].reset_index()
    data = data[data['place_id'].isin(tf.place_id)]

    # 7.取出数据当做的特征值（x）和目标值（y）
    y = data['place_id']
    x = data.drop(['place_id'], axis=1)

    # 8.将数据分割成训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
    std = StandardScaler()
    # 对训练集和测试集的特征值进行标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)

    # 进行算法流程，n_neighbors取多少个最近邻样本进行类别统计
    knn = KNeighborsClassifier()

    # 构造网格搜索需要调优的参数
    param = {"n_neighbors":[3, 5, 7, 10]}
    # 进行网格搜索
    gcv = GridSearchCV(estimator=knn, param_grid=param, cv=10)
    gcv.fit(x_train, y_train)
    print('在测试集上的准确率：', gcv.score(x_test, y_test))
    print('在交叉验证中最好的结果：', gcv.best_score_)
    print('选择的最好的模型是：', gcv.best_estimator_)

if __name__ == "__main__":
    knncls()