1. train_test_split(under_x, under_y, test_size=0.3, random_state=0) # under_x, under_y 表示输入数据, test_size表示切分的训练集和测试集的比例， random_state 随机种子
2. KFold(len(train_x), 5, shuffle=False) # len(train_x) 第一个参数数据数据大小， 5表示切分的个数，即循环的次数， shuffle表示是否进行打乱数据
3. recall_score 表示的是召回率， 即预测对的/这个类别的个数
我们将数据分为训练集和测试集，为了确定好参数，我们从训练集中对数据进行再次的切分，切分成训练集和验证集以此来获得好的训练参数
我们对正则化参数c做验证
交叉验证的意思是比如，KFold(len(train_x), 5, shuffle=False) 将索引值分成5份，四分作为训练集，1份作为验证集,为了防止由于部分数据表现不好，导致结果的偏低或者偏高
训练集 验证集
1234 5
2345 1
3451 2
4512 3
5123 4
一共5次循环，对获得的score求平均作为最终的预测得分
我们使用recall_score 来做为验证结果， 使用KFold来进行数据的索引的拆分， 返回最佳的参数
# 进行整体数据的拆分 train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.3, random_state=0) # 进行下采样数据的拆分 under_train_x, under_text_x, under_train_y, under_test_y = train_test_split(under_x, under_y, test_size=0.3, random_state=0) from sklearn.cross_validation import KFold from sklearn.linear_model import LogisticRegression from sklearn.metrics import recall_score # 使用交叉验证来选择参数 def printing_KFold_score(train_x, train_y): """ 进行数据的交叉验证 :param train_x:输入的数据的变量 :param train_y:输入数据的标签 :return: 返回最佳的参数 """ # 对数据的索引进行拆分 fold = KFold(len(train_x), 5, shuffle=False) # 正则化参数 c_parameter = [0.01, 0.1, 1, 10, 100] # 建立DataFrame用于参数和recall得分的储存 train_score = pd.DataFrame(index=range(len(c_parameter), 2), columns=['c_parameter', 'F_score_mean']) train_score['c_parameter'] = c_parameter for c in c_parameter: scores = [] for iter, fol in enumerate(fold, start=1): lr = LogisticRegression(C=c, penalty='l1') lr.fit(train_x.iloc[fol[0], :], train_y.iloc[fol[0], :]) pred_y = lr.predict(train_x.iloc[fol[1], :]) # 导入recall_score模块进行计算 score = recall_score(train_y.iloc[fol[1], :], pred_y) print('{} {}'.format(iter, score)) scores.append(score) mean_score = np.mean(scores) train_score['F_score_mean'] = mean_score print(train_score) # 根据索引, idxmax() 表示获得最大值的索引,获得最佳的best_parameter best_parameter = train_score.iloc[train_score['F_score_mean'].idxmax(), :]['c_parameter'] print('the best_parameter is {}'.format(best_parameter)) return best_parameter best_c = printing_KFold_score(under_train_x, under_train_y)
