基于决策树、随机森林的宽带客户流失预测
一、数据探索
import pandas as pd
import numpy as np
# 1: 加载数据文件，查看数据信息
df = pd.read_csv('broadband.csv')
df.head() # broadband 即可：0-离开，1-留存
| CUST_ID | GENDER | AGE | TENURE | CHANNEL | AUTOPAY | ARPB_3M | CALL_PARTY_CNT | DAY_MOU | AFTERNOON_MOU | NIGHT_MOU | AVG_CALL_LENGTH | BROADBAND | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 63 | 1 | 34 | 27 | 2 | 0 | 203 | 0 | 0.0 | 0.0 | 0.0 | 3.04 | 1 |
| 1 | 64 | 0 | 62 | 58 | 1 | 0 | 360 | 0 | 0.0 | 1910.0 | 0.0 | 3.30 | 1 |
| 2 | 65 | 1 | 39 | 55 | 3 | 0 | 304 | 0 | 437.2 | 200.3 | 0.0 | 4.92 | 0 |
| 3 | 66 | 1 | 39 | 55 | 3 | 0 | 304 | 0 | 437.2 | 182.8 | 0.0 | 4.92 | 0 |
| 4 | 67 | 1 | 39 | 55 | 3 | 0 | 304 | 0 | 437.2 | 214.5 | 0.0 | 4.92 | 0 |
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1114 entries, 0 to 1113
Data columns (total 13 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 CUST_ID 1114 non-null int64
1 GENDER 1114 non-null int64
2 AGE 1114 non-null int64
3 TENURE 1114 non-null int64
4 CHANNEL 1114 non-null int64
5 AUTOPAY 1114 non-null int64
6 ARPB_3M 1114 non-null int64
7 CALL_PARTY_CNT 1114 non-null int64
8 DAY_MOU 1114 non-null float64
9 AFTERNOON_MOU 1114 non-null float64
10 NIGHT_MOU 1114 non-null float64
11 AVG_CALL_LENGTH 1114 non-null float64
12 BROADBAND 1114 non-null int64
dtypes: float64(4), int64(9)
memory usage: 113.3 KB
# 2: 列名全部换成小写
df.rename(str.lower, axis='columns', inplace=True)
df.sample() # 查看一个样本数据
| cust_id | gender | age | tenure | channel | autopay | arpb_3m | call_party_cnt | day_mou | afternoon_mou | night_mou | avg_call_length | broadband | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 674 | 835 | 1 | 48 | 28 | 4 | 1 | 250 | 35 | 143.7 | 183.5 | 382.9 | 4.85 | 0 |
# 3: 查看因变量 broadband 分布情况，看是否存在不平衡
# 随机森林适合这种样本不平衡的数据
from collections import Counter
print('Broadband: ', Counter(df['broadband']))
Broadband: Counter({0: 908, 1: 206})
二、拆分测试集与训练集
y = df['broadband'] # 标签
X = df.iloc[:, 1:-1] # 客户 id 没有用，故丢弃 cust_id
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,
test_size=0.4, random_state=123)
三、决策树建模
树模型参数:
-
1.criterion gini or entropy
-
2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候）
-
3.max_features None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的
-
4.max_depth 数据少或者特征少的时候可以不管这个值，如果模型样本量多，特征也多的情况下，可以尝试限制下
-
5.min_samples_split 如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。
-
6.min_samples_leaf 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝，如果样本量不大，不需要管这个值，大些如10W可是尝试下5
-
7.min_weight_fraction_leaf 这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。
-
8.max_leaf_nodes 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制具体的值可以通过交叉验证得到。
-
9.class_weight 指定样本各类别的的权重，主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别。这里可以自己指定各个样本的权重如果使用“balanced”，则算法会自己计算权重，样本量少的类别所对应的样本权重会高。
-
10.min_impurity_split 这个值限制了决策树的增长，如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值则该节点不再生成子节点。即为叶子节点 。
-
n_estimators:要建立树的个数
import sklearn.tree as tree
# 1. 直接使用交叉网格搜索来优化决策树模型，边训练边优化
from sklearn.model_selection import GridSearchCV
# 2. 网格搜索参数，选择最优参数
param_grid = {'criterion': ['entropy', 'gini'], # 树的深度评估指标 信息熵 vs 基尼系数
'max_depth': [2, 3, 4, 5, 6, 7, 8], # 树的深度
'min_samples_split': [4, 8, 12, 16, 20, 24, 28]# 最小拆分的叶子样本数
}
# 3. 定义一棵树对象
clf = tree.DecisionTreeClassifier()
# 4. 传入模型，网格搜索的参数，评估指标，cv交叉验证的次数
clfcv = GridSearchCV(estimator=clf, param_grid=param_grid, scoring='roc_auc',cv=4)
# 5. 训练模型
clfcv.fit(X_train, y_train)
# 6. 使用模型来对测试集进行预测
test_result = clfcv.predict(X_test)
# 7. 模型评估
import sklearn.metrics as metrics
print("决策树准确度:")
print(metrics.classification_report(y_test,test_result))
决策树准确度:
precision recall f1-score support
0 0.88 0.98 0.93 360
1 0.83 0.44 0.58 86
accuracy 0.87 446
macro avg 0.85 0.71 0.75 446
weighted avg 0.87 0.87 0.86 446
## 定义绘制ROC曲线的函数
def plot_ROC(preds,y_test):
"""
Args:
labels : ground truth
preds : model prediction
savepath : save path
"""
fpr1, tpr1, threshold1 = metrics.roc_curve(preds, y_test) ###计算真正率和假正率
roc_auc1 = metrics.auc(fpr1, tpr1) ###计算auc的值，auc就是曲线包围的面积，越大越好
plt.figure()
lw = 2
plt.figure(figsize=(10, 10))
plt.plot(fpr1, tpr1, color='darkorange',
lw=lw, label='AUC = %0.2f' % roc_auc1) ###假正率为横坐标，真正率为纵坐标做曲线
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
plt.xlabel('1 - Specificity')
plt.ylabel('Sensitivity')
# plt.title('ROCs for Densenet')
plt.legend(loc="lower right")
plt.show()
# 8. 决策树的AUC
print("决策树 AUC:")
fpr_test, tpr_test, th_test = metrics.roc_curve(y_test, test_result)
print('AUC = %.4f' %metrics.auc(fpr_test, tpr_test))
决策树 AUC:
AUC = 0.8045
plot_ROC(test_result,y_test)
# 9. 网格搜索后的最优参数
clfcv.best_params_
{'criterion': 'entropy', 'max_depth': 5, 'min_samples_split': 4}
# 10. 将最优参数代入到模型中，重新训练、预测
clf2 = tree.DecisionTreeClassifier(criterion='entropy', max_depth=5, min_samples_split=4)
clf2.fit(X_train, y_train)
test_res2 = clf2.predict(X_test)
# 11. 绘制图形 pip3 install graphviz
import graphviz
dot_data = tree.export_graphviz(clf2, out_file=None)
graph = graphviz.Source(dot_data)
graph.render('user')# 保存为pdf格式
from PIL import Image
Image.open('user.jpg')# 转化为jpg
四、随机森林建模
# 1. 网格搜索
param_grid = {
'criterion':['entropy','gini'],# 衡量标准
'max_depth':[5, 6, 7, 8], # 每棵决策树的深度
'n_estimators':[11,13,15], # 决策树个数 - 随机森林特有参数
'max_features':[0.3,0.4,0.5], # 每棵决策树使用的变量占比 - 随机森林特有参数
'min_samples_split':[4,8,12,16] # 叶子的最小拆分样本量
}
import sklearn.ensemble as ensemble # ensemble learning: 集成学习
# 2. 随机森林算法
rfc = ensemble.RandomForestClassifier()
rfc_cv = GridSearchCV(estimator=rfc, param_grid=param_grid,
scoring='roc_auc', cv=4)
rfc_cv.fit(X_train, y_train)
# 3. 使用随机森林对测试集进行预测
predict_test = rfc_cv.predict(X_test)
print('随机森林精确度...')
print(metrics.classification_report(predict_test, y_test))
随机森林精确度...
precision recall f1-score support
0 0.97 0.89 0.93 394
1 0.48 0.79 0.59 52
accuracy 0.87 446
macro avg 0.72 0.84 0.76 446
weighted avg 0.91 0.87 0.89 446
# 4. AUC的值
print('随机森林 AUC...')
fpr_test, tpr_test, th_test = metrics.roc_curve(predict_test, y_test) # 构造 roc 曲线
print('AUC = %.4f' %metrics.auc(fpr_test, tpr_test))
随机森林 AUC...
AUC = 0.8652
plot_ROC(predict_test,y_test)
# 5. 查看最佳参数（有可能不是最优参数，仍然需要调参）
rfc_cv.best_params_
{'criterion': 'gini',
'max_depth': 8,
'max_features': 0.5,
'min_samples_split': 4,
'n_estimators': 13}
# 6. 调整决策边界，调参
param_grid = {
'criterion':['entropy','gini'],
'max_depth':[7, 8, 10, 12], # 前面的 5，6 也可以适当的去掉，反正已经没有用了
'n_estimators':[11, 13, 15, 17, 19], # 决策树个数 - 随机森林特有参数
'max_features':[0.4, 0.5, 0.6, 0.7], # 每棵决策树使用的变量占比 - 随机森林特有参数
'min_samples_split':[2, 3, 4, 8, 12, 16] # 叶子的最小拆分样本量
}
# 7. 重复上述步骤，再次训练，寻找最优参数
rfc_cv = GridSearchCV(estimator=rfc, param_grid=param_grid,
scoring='roc_auc', cv=4)
rfc_cv.fit(X_train, y_train)
# 8. 使用随机森林对测试集进行预测
predict_test = rfc_cv.predict(X_test)
print('随机森林精确度...')
print(metrics.classification_report(predict_test, y_test))
print('随机森林 AUC...')
fpr_test, tpr_test, th_test = metrics.roc_curve(predict_test, y_test) # 构造 roc 曲线
print('AUC = %.4f' %metrics.auc(fpr_test, tpr_test))
随机森林精确度...
precision recall f1-score support
0 1.00 0.88 0.94 410
1 0.42 1.00 0.59 36
accuracy 0.89 446
macro avg 0.71 0.94 0.76 446
weighted avg 0.95 0.89 0.91 446
随机森林 AUC...
AUC = 0.9358
plot_ROC(predict_test,y_test)
# 8. 查看最优参数
rfc_cv.best_params_
{'criterion': 'entropy',
'max_depth': 10,
'max_features': 0.2,
'min_samples_split': 2,
'n_estimators': 15}
