seaborn基本使用(二)
客户贷款风险评估
数据预处理
# 因为需要进行聚类，所以需要对数据进行初步处理，这里对数值型数据，进行标准化，对分类变量处理为有序变量。
# 选择特征 把文本类型转化为数值类型 方便计算比较 数据预处理
features = ['Age', 'Sex', 'Job', 'Housing', 'Saving accounts', 'Checking account', 'Credit amount', 'Duration']
new_data = data[features].copy()
# 对类别型特征进行有序编码
new_data['Sex'] = new_data['Sex'].map({
'female': 0,
'male': 1})
new_data['Housing'] = new_data['Housing'].map({
'free': 0,
'rent': 1,
'own': 2})
# 这行代码的作用是将 'Housing' 列中的字符串值 'free' 替换为 0，'rent' 替换为 1，'own' 替换为 2。这种操作通常用于将分类变量（categorical variable）转换为数值型变量，以便在机器学习模型中使用。
# 'Housing' 列的字符串值被映射为相应的数字
new_data['Saving accounts'] = new_data['Saving accounts'].map({
'unknown': 0,
'little': 1,
# 'moderate': 2,
'quite rich': 3,
'rich': 4})
new_data['Checking account'] = new_data['Checking account'].map({
'unknown': 0,
'little': 1,
'moderate': 2,
'rich': 3})
# 标准化数值型特征 正则化 标准正态分布
scaler = StandardScaler()
num_features = ['Age', 'Credit amount', 'Duration']
new_data[num_features] = scaler.fit_transform(new_data[num_features])
print(new_data.head(10))
# 划分高风险客户和低风险客户
# 假设 df 是你的 DataFrame，'column_name' 是要处理的列名
new_data['Age'] = new_data['Age'].round(2)
new_data['Duration'] = new_data['Duration'].round(2)
new_data['Credit amount'] = new_data['Credit amount'].round(2)
new_data['Saving accounts'].fillna(0, inplace=True)
print("整理后查看各列缺失值",new_data.isna().sum())
# 假设 df 是你的 DataFrame
new_data.to_csv('./out/output_new_data.csv', index=False)
查看详情
- 控制台打印
Age Sex Job ... Checking account Credit amount Duration
0 2.766456 1 2 ... 1 -0.745131 -1.236478
1 -1.191404 0 2 ... 2 0.949817 2.248194
2 1.183312 1 1 ... 0 -0.416562 -0.738668
3 0.831502 1 2 ... 1 1.634247 1.750384
4 1.535122 1 2 ... 1 0.566664 0.256953
5 -0.048022 1 1 ... 0 2.050009 1.252574
6 1.535122 1 2 ... 0 -0.154629 0.256953
7 -0.048022 1 3 ... 2 1.303197 1.252574
8 2.238742 1 1 ... 0 -0.075233 -0.738668
9 -0.663689 1 3 ... 2 0.695681 0.754763
[10 rows x 8 columns]
整理后查看各列缺失值 Age 0
Sex 0
Job 0
Housing 0
Saving accounts 0
Checking account 0
Credit amount 0
Duration 0
dtype: int64
案例1
# 导入需要的库
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
from sklearn.model_selection import train_test_split
from sklearn.utils import resample
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report,confusion_matrix
new_data = pd.read_csv("./out/output_new_data.csv")
data = pd.read_csv("./german_credit_data.csv")
# 模型选择：使用KMeans进行聚类
kmeans = KMeans(n_clusters=2, random_state=15)
from sklearn.cluster import KMeans
# 检查无穷大值： 使用 Pandas 的 replace() 方法，可以将无穷大值替换为其他值。
new_data.replace([np.inf, -np.inf], np.nan, inplace=True)
print(new_data.describe(include='all'))
clusters = kmeans.fit_predict(new_data)
# 将聚类结果添加到数据中
data['Risk Group'] = clusters
print(data.head(10))
# 6.3两类客户之间对比
# 6.3.1基本情况对比
fig, axs = plt.subplots(2, 2, figsize=(18,15))
sns.boxplot(x='Risk Group', y='Age', data=data, ax=axs[0, 0])
axs[0, 0].set_title('Age Distribution by Risk Group')
axs[0, 0].set_xlabel('Risk Group')
axs[0, 0].set_ylabel('Age')
#
sns.countplot(x='Sex', hue='Risk Group', data=data, palette='Set2', ax=axs[0, 1])
axs[0, 1].set_title('Sex Distribution by Risk Group')
axs[0, 1].set_xlabel('Sex')
axs[0, 1].set_ylabel('Count')
sns.countplot(x='Job', hue='Risk Group', data=data, palette='Set2', ax=axs[1, 0])
axs[1, 0].set_title('Job Distribution by Risk Group')
axs[1, 0].set_xlabel('Job')
axs[1, 0].set_ylabel('Count')
sns.countplot(x='Housing', hue='Risk Group', data=data, palette='Set2', ax=axs[1, 1])
axs[1, 1].set_title('Housing Type Distribution by Risk Group')
axs[1, 1].set_xlabel('Housing Type')
axs[1, 1].set_ylabel('Count')
plt.show()
查看详情
- 控制台打印
Age Sex ... Credit amount Duration
count 1000.000000 1000.000000 ... 1000.000000 1000.00000
mean -0.000080 0.690000 ... -0.000120 -0.00004
std 1.000554 0.462725 ... 1.000532 1.00074
min -1.460000 0.000000 ... -1.070000 -1.40000
25% -0.750000 0.000000 ... -0.680000 -0.74000
50% -0.220000 1.000000 ... -0.340000 -0.24000
75% 0.570000 1.000000 ... 0.250000 0.26000
max 3.470000 1.000000 ... 5.370000 4.24000
[8 rows x 8 columns]
Id Age Sex ... Duration Purpose Risk Group
0 0 67 male ... 6 radio/TV 1
1 1 22 female ... 48 radio/TV 0
2 2 49 male ... 12 education 1
3 3 45 male ... 42 furniture/equipment 0
4 4 53 male ... 24 car 0
5 5 35 male ... 36 education 0
6 6 53 male ... 24 furniture/equipment 1
7 7 35 male ... 36 car 0
8 8 61 male ... 12 radio/TV 1
9 9 28 male ... 30 car 0
- 输出
案例2
# 经济情况对比
order_savings = ['unknown', 'little', 'moderate', 'quite rich', 'rich']
order_checking = ['unknown', 'little', 'moderate', 'rich']
fig, axs = plt.subplots(1, 2, figsize=(15,8))
sns.countplot(x='Saving accounts', hue='Risk Group', data=data, order=order_savings, palette='Set2', ax=axs[0])
axs[0].set_title('Saving Accounts Distribution by Risk Group')
axs[0].set_xlabel('Saving Accounts')
axs[0].set_ylabel('Count')
sns.countplot(x='Checking account', hue='Risk Group', data=data, order=order_checking, palette='Set2', ax=axs[1])
axs[1].set_title('Checking Account Distribution by Risk Group')
axs[1].set_xlabel('Checking Account')
axs[1].set_ylabel('Count')
plt.tight_layout()
plt.show()
查看详情
案例3
# 贷款情况对比¶
fig = plt.figure(figsize=(17,15))
# 创建2x2的图布局
ax1 = fig.add_subplot(2, 2, 1)
ax2 = fig.add_subplot(2, 2, 2)
ax3 = fig.add_subplot(2, 1, 2)
sns.boxplot(x='Risk Group', y='Credit amount', data=data, ax=ax1)
ax1.set_title('Credit Amount Distribution by Risk Group')
ax1.set_xlabel('Risk Group')
ax1.set_ylabel('Credit Amount')
sns.boxplot(x='Risk Group', y='Duration', data=data, ax=ax2)
ax2.set_title('Duration Distribution by Risk Group')
ax2.set_xlabel('Risk Group')
ax2.set_ylabel('Duration (Months)')
sns.countplot(x='Purpose', hue='Risk Group', data=data, palette='Set2', ax=ax3)
ax3.set_title('Purpose of Credit Distribution by Risk Group')
ax3.set_xlabel('Purpose of Credit')
ax3.set_ylabel('Count')
plt.tight_layout()
plt.show()
查看详情
-
输出
-
结论
通过三类不同情况的分析，可以初步判断，0为高风险人群，1为低风险人群，原因如下：
1.类型1不仅借款金额远小于类型0，并且借款周期也远小于类型0，表明类型0的客户还款负担更重。
2.类型0虽然资金更加充足(储蓄账户状况、支票账户状况)，但是通过贷款用途可以看到，主要用于商业和购买车子(占比更大)，可以初步判断类型1中，有一些商人，从职业等级也能看出来，大部分在2和3，这一类人群，虽然有钱，但是开销也大，因此风险比类型1高。
因此，可以认为类型1属于低风险用户，类型0属于高风险用户，因为没有违约数据，这里只能通过聚类来简单划分一下。
案例4
# 用户画像分析
# 这步与上一步不同，我这里并没有将风险评估的情况放到聚类数据中，这样可以通过原始数据更好的确定聚类数与聚类情况，并且可以根据聚类结果判断风险评估是否准确。
# 使用肘部法则来确定最佳聚类数
inertia = []
silhouette_scores = []
k_range = range(2, 11)
for k in k_range:
kmeans = KMeans(n_clusters=k, random_state=10).fit(new_data)
inertia.append(kmeans.inertia_)
silhouette_scores.append(silhouette_score(new_data, kmeans.labels_))
plt.figure(figsize=(15,5))
plt.subplot(1, 2, 1)
plt.plot(k_range, inertia, marker='o')
plt.xlabel('Number of clusters')
plt.ylabel('Inertia')
plt.title('Elbow Method For Optimal k')
plt.subplot(1, 2, 2)
plt.plot(k_range, silhouette_scores, marker='o')
plt.xlabel('Number of clusters')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Score For Each k')
plt.tight_layout()
plt.show()
查看详情
-
输出
-
结论
1.左图为肘部法则图，通过此图可以看到，在4和5的时候，曲线下降速率明显下降。
2.右图为轮廓系数图，在2时，轮廓系数最高，在4时也不错。
结合两个图，我们选择4作为聚类数，此时肘部法则图下降速率有明显下降，且是轮廓系数图中第二高的点。
案例5
# 建立k均值聚类模型
# 执行K-均值聚类，选择4个聚类
kmeans_final = KMeans(n_clusters=4, random_state=15)
kmeans_final.fit(new_data)
# 获取聚类标签
cluster_labels = kmeans_final.labels_
# 将聚类标签添加到原始数据中以进行分析
data['Cluster'] = cluster_labels
# 四类客户之间对比
# 基本情况对比
fig, axs = plt.subplots(2, 2, figsize=(20,15))
sns.boxplot(x='Cluster', y='Age', data=data, ax=axs[0, 0])
axs[0, 0].set_title('Age Distribution by Cluster')
axs[0, 0].set_xlabel('Cluster')
axs[0, 0].set_ylabel('Age')
sns.countplot(x='Sex', hue='Cluster', data=data, palette='Set3', ax=axs[0, 1])
axs[0, 1].set_title('Sex Distribution by Cluster')
axs[0, 1].set_xlabel('Sex')
axs[0, 1].set_ylabel('Count')
sns.countplot(x='Job', hue='Cluster', data=data, palette='Set3', ax=axs[1, 0])
axs[1, 0].set_title('Job Distribution by Cluster')
axs[1, 0].set_xlabel('Job')
axs[1, 0].set_ylabel('Count')
sns.countplot(x='Housing', hue='Cluster', data=data, palette='Set3', ax=axs[1, 1])
axs[1, 1].set_title('Housing Type Distribution by Cluster')
axs[1, 1].set_xlabel('Housing Type')
axs[1, 1].set_ylabel('Count')
plt.show()
查看详情
- 输出
案例6
# 经济情况对比
order_savings = ['unknown', 'little', 'moderate', 'quite rich', 'rich']
order_checking = ['unknown', 'little', 'moderate', 'rich']
fig, axs = plt.subplots(1, 2, figsize=(20,8))
sns.countplot(x='Saving accounts', hue='Cluster', data=data, order=order_savings, palette='Set3', ax=axs[0])
axs[0].set_title('Saving Accounts Distribution by Cluster')
axs[0].set_xlabel('Saving Accounts')
axs[0].set_ylabel('Count')
axs[0].legend(title='Cluster', loc='upper right')
sns.countplot(x='Checking account', hue='Cluster', data=data, order=order_checking, palette='Set3', ax=axs[1])
axs[1].set_title('Checking Account Distribution by Cluster')
axs[1].set_xlabel('Checking Account')
axs[1].set_ylabel('Count')
plt.tight_layout()
plt.show()
查看详情
- 输出
案例7
# 贷款情况对比
fig = plt.figure(figsize=(20,15))
# 创建2x2的图布局
ax1 = fig.add_subplot(2, 3, 1)
ax2 = fig.add_subplot(2, 3, 2)
ax3 = fig.add_subplot(2, 3, 3)
ax4 = fig.add_subplot(2, 1, 2)
sns.boxplot(x='Cluster', y='Credit amount', data=data, ax=ax1)
ax1.set_title('Credit Amount Distribution by Cluster')
ax1.set_xlabel('Cluster')
ax1.set_ylabel('Credit Amount')
sns.boxplot(x='Cluster', y='Duration', data=data, ax=ax2)
ax2.set_title('Duration Distribution by Cluster')
ax2.set_xlabel('Cluster')
ax2.set_ylabel('Duration (Months)')
sns.countplot(x='Risk Group', hue='Cluster', data=data, palette='Set3', ax=ax3)
ax3.set_title('Risk Group Distribution by Cluster')
ax3.set_xlabel('Risk Group')
ax3.set_ylabel('Count')
sns.countplot(x='Purpose', hue='Cluster', data=data, palette='Set3', ax=ax4)
ax4.set_title('Purpose of Credit Distribution by Cluster')
ax4.set_xlabel('Purpose of Credit')
ax4.set_ylabel('Count')
plt.tight_layout()
plt.show()
查看详情
-
输出
-
结论
1.类型0（中高等额度需求，倾向于中长期贷款的高职业人群）:
用户画像：年龄主要在20-40岁之间，职业主要在2-3级，这一类人是住免租赁或者租房的占比远高于其他三类，储蓄账户状况主要集中在未知和少量，支票账户也是如此，主要集中在未知、少量和适中，贷款金额和贷款周期远超其他三类，贷款主要用于购车，根据风险评估，这类客户全部为高风险。
建议：银行和金融机构可以为这个群体提供中期汽车贷款产品，并且可以通过金融教育来提升他们的储蓄和投资能力。
2.类别1（较高储蓄能力，倾向于短期贷款的人群）:
用户画像：年龄分布比较均匀，与类型0相近，职业主要在2级，免租赁的占比较小，储蓄账户状况远超其他三类客户，贷款金额少，周期短，贷款主要用于购买设备，根据风险评估，这类客户全部为低风险。
建议：银行和金融机构可以为这个群体提供短期信用产品，同时考虑他们较高的储蓄能力，可以推广储蓄和投资相关产品。
3.类型2（短期贷款，储蓄能力有限的年轻化人群）:
用户画像：平均年龄在30岁以下，最大年龄不超过45岁，比其他三类都更年轻，职业主要集中在2级，但是其他等级都有存在，租房占比高于其他三类，蓄账户状况主要集中在未知和少量，支票账户主要集中在未知、少量和适中，这类客户的资金情况与类型0类似，贷款情况与类型1类似，风险评估绝大多数为低风险。
建议：鉴于他们是信用初建者和年轻消费者，银行和金融机构可以提供小额信用卡产品和财务规划服务。
4.类型3（短期贷款的高龄客户）:
用户画像：大龄客户，职业集中在1-2级，大部分有自己的房子，少部分是免租赁，蓄账户状况主要集中在未知和少量，支票账户每个等级均有占比，贷款情况与类型1和类型2类似，也是贷款金额少，周期短，同样的风险评估大多数是低风险。
建议：针对这类客户，银行和金融机构可以提供针对成熟消费者的产品和服务，如退休规划和健康保险，同时关注其稳定的信贷需求。
