阿里云-建模比赛

数据地址：https://tianchi.aliyun.com/competition/entrance/531830/information

1.导入模块和数据

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
import warnings
warnings.filterwarnings('ignore')

data_train = pd.read_csv('F:/python/阿里云金融风控-贷款违约预测/train.csv')
data_test_a = pd.read_csv('F:/python/阿里云金融风控-贷款违约预测/testA.csv')

2.数据基本认知

data_train.shape,data_test_a.shape

((800000, 47), (200000, 48))

查看y值的分布

data_train['isDefault'].value_counts().plot.bar()
plt.show()
data_train['isDefault'].value_counts()/len(data_train)# 0    0.800488  ,1    0.199513
plt.pie([0.800488,0.199513],labels=[0,1],autopct='%1.2f%%')

 

可以看出y值分布还是比较符合现实的情况

3.区分数值型和类别性特征

numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)
category_fea = list(filter(lambda x: x not in numerical_fea,list(data_train.columns)))

结合一下字段含义，看看二者所属类型是否是符合真实情况

Field   Description
id  为贷款清单分配的唯一信用证标识
loanAmnt    贷款金额
term    贷款期限（year）
interestRate    贷款利率
installment 分期付款金额
grade   贷款等级
subGrade    贷款等级之子级
employmentTitle 就业职称
employmentLength    就业年限（年）
homeOwnership   借款人在登记时提供的房屋所有权状况
annualIncome    年收入
verificationStatus  验证状态
issueDate   贷款发放的月份
purpose 借款人在贷款申请时的贷款用途类别
postCode    借款人在贷款申请中提供的邮政编码的前3位数字
regionCode  地区编码
dti 债务收入比
delinquency_2years  借款人过去2年信用档案中逾期30天以上的违约事件数
ficoRangeLow    借款人在贷款发放时的fico所属的下限范围
ficoRangeHigh   借款人在贷款发放时的fico所属的上限范围
openAcc 借款人信用档案中未结信用额度的数量
pubRec  贬损公共记录的数量
pubRecBankruptcies  公开记录清除的数量
revolBal    信贷周转余额合计
revolUtil   循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
totalAcc    借款人信用档案中当前的信用额度总数
initialListStatus   贷款的初始列表状态
applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
earliesCreditLine   借款人最早报告的信用额度开立的月份
title   借款人提供的贷款名称
policyCode  公开可用的策略_代码=1新产品不公开可用的策略_代码=2
n系列匿名特征 匿名特征n0-n14，为一些贷款人行为计数特征的处理

特征变量的值的个数

id :800000    缺失值个数： 0
loanAmnt :1540    缺失值个数： 0
term :2    缺失值个数： 0
interestRate :641    缺失值个数： 0
installment :72360    缺失值个数： 0
grade :7    缺失值个数： 0
subGrade :35    缺失值个数： 0   #删除，相关性太高，如果是评分卡可以使用这个变量
employmentTitle :248683    缺失值个数： 1
employmentLength :11    缺失值个数： 46799   有缺失值
homeOwnership :6    缺失值个数： 0
annualIncome :44926    缺失值个数： 0
verificationStatus :3    缺失值个数： 0
issueDate :139    缺失值个数： 0
isDefault :2    缺失值个数： 0
purpose :14    缺失值个数： 0
postCode :932    缺失值个数： 1
regionCode :51    缺失值个数： 0
dti :6321    缺失值个数： 239
delinquency_2years :30    缺失值个数： 0
ficoRangeLow :39    缺失值个数： 0
ficoRangeHigh :39    缺失值个数： 0
openAcc :75    缺失值个数： 0
pubRec :32    缺失值个数： 0
pubRecBankruptcies :11    缺失值个数： 405
revolBal :71116    缺失值个数： 0
revolUtil :1286    缺失值个数： 531
totalAcc :134    缺失值个数： 0
initialListStatus :2    缺失值个数： 0
applicationType :2    缺失值个数： 0
earliesCreditLine :720    缺失值个数： 0
title :39644    缺失值个数： 1
policyCode :1    缺失值个数： 0
n0 :39    缺失值个数： 40270
n1 :33    缺失值个数： 40270
n2 :50    缺失值个数： 40270
n2.1 :50    缺失值个数： 40270
n4 :46    缺失值个数： 33239
n5 :65    缺失值个数： 40270
n6 :107    缺失值个数： 40270
n7 :70    缺失值个数： 40270
n8 :102    缺失值个数： 40271
n9 :44    缺失值个数： 40270
n10 :76    缺失值个数： 33239
n11 :5    缺失值个数： 69752
n12 :5    缺失值个数： 40270
n13 :28    缺失值个数： 40270
n14 :31    缺失值个数： 40270

 

 

1.贷款金额（loanAmnt）

# 解决Seaborn中文显示问题并调整字体大小
sns.set(font='SimHei')
data_train['loanAmnt'].value_counts()
#data_train['loanAmnt'].value_counts().plot.hist()
plt.figure(figsize=(16,12))
plt.subplot(221)
sub_plot_1=sns.distplot(data_train['loanAmnt'])
sub_plot_1.set_title("训练集", fontsize=18)
plt.subplot(222)
sub_plot_2=sns.distplot(data_test_a['loanAmnt'])
sub_plot_2.set_title("测试集", fontsize=18)

 

(40000.0, 500.0, count    800000.000000
 mean      14416.818875
 std        8716.086178
 min         500.000000
 25%        8000.000000
 50%       12000.000000
 75%       20000.000000
 max       40000.000000

最大值是4万最小值是500,没有异常值，但是也不符合正太分布

2.term 借款期限

plt.figure(figsize=(16,12))
plt.subplot(221)
sub_plot_1=data_train['term'].value_counts().plot.bar()
sub_plot_1.set_title("训练集", fontsize=18)
plt.subplot(222)
sub_plot_2=data_test_a['term'].value_counts().plot.bar()
sub_plot_2.set_title("测试集", fontsize=18)
plt.show()

plt.figure(figsize=(16,12))
plt.subplot(221)
a=data_train['term'].value_counts()/len(data_train)# 0    0.800488  ,1    0.199513
plt.pie(a.values,labels=a.index,autopct='%1.2f%%')
plt.title('训练集')

plt.subplot(222)
b=data_test_a['term'].value_counts()/len(data_test_a)# 0    0.800488  ,1    0.199513
plt.pie(b.values,labels=b.index,autopct='%1.2f%%')
plt.title('测试集')
plt.show()

a=pd.crosstab(data_train['term'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

 

 

 

 

由此可见训练集和测试集分布基本是一致的，且贷款期限对逾期有着明显的区别

3.贷款利率  interestRate 看着是连续型数据

data_train['interestRate'].value_counts().plot.hist()
plt.show()
sns.distplot(data_train['interestRate'])
plt.show()
sns.distplot(np.log(data_train['interestRate']))

 

 

 

 

 

(30.99, 5.31, count    800000.000000
 mean         13.238391
 std           4.765757
 min           5.310000
 25%           9.750000
 50%          12.740000
 75%          15.990000
 max          30.990000
 Name: interestRate, dtype: float64)

看着后面数据还是的自己处理，可以分箱看看数据的表现如何（后面再处理吧），没有异常值，这个特征还是很有用处的，但是可能会和等分字段的较强的相关性，毕竟等级越好，说明用户越优质，利率就会越低

4.installment 分期付款金额

data_train['installment'].value_counts().plot.hist()
plt.show()
sns.distplot(data_train['installment'])
plt.show()
sns.distplot(np.log(data_train['installment']))

  

 

(1715.42, 15.69, count    800000.000000
 mean        437.947723
 std         261.460393
 min          15.690000
 25%         248.450000
 50%         375.135000
 75%         580.710000
 max        1715.420000
 Name: installment, dtype: float64)

这个每期还款金额和贷款金额，以及期限有关，没有异常值

5.'grade','subGrade' 用户等级之类的

plt.figure(figsize=(16,12))
plt.subplot(221)
sub_plot_1=data_train['grade'].value_counts().sort_index().plot.bar()
sub_plot_1.set_title("训练集", fontsize=18)
plt.subplot(222)
sub_plot_2=data_test_a['grade'].value_counts().sort_index().plot.bar()
sub_plot_2.set_title("测试集", fontsize=18)
plt.show()

plt.figure(figsize=(16,12))
plt.subplot(221)
a=data_train['grade'].value_counts()/len(data_train)# 0    0.800488  ,1    0.199513
plt.pie(a.values,labels=a.index,autopct='%1.2f%%')
plt.title('训练集')

plt.subplot(222)
b=data_test_a['grade'].value_counts()/len(data_test_a)# 0    0.800488  ,1    0.199513
plt.pie(b.values,labels=b.index,autopct='%1.2f%%')
plt.title('测试集')
plt.show()

a=pd.crosstab(data_train['grade'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

 

 

 

 

 

 看的出来等级分布基本符合正态分布，且这个特征的逾期率是单调增的

plt.figure(figsize=(16,12))
plt.subplot(221)
sub_plot_1=data_train['subGrade'].value_counts().sort_index().plot.bar()
sub_plot_1.set_title("训练集", fontsize=18)
plt.subplot(222)
sub_plot_2=data_test_a['subGrade'].value_counts().sort_index().plot.bar()
sub_plot_2.set_title("测试集", fontsize=18)
plt.show()

plt.figure(figsize=(16,12))
plt.subplot(221)
a=data_train['subGrade'].value_counts()/len(data_train)# 0    0.800488  ,1    0.199513
plt.pie(a.values,labels=a.index,autopct='%1.2f%%')
plt.title('训练集')

plt.subplot(222)
b=data_test_a['subGrade'].value_counts()/len(data_test_a)# 0    0.800488  ,1    0.199513
plt.pie(b.values,labels=b.index,autopct='%1.2f%%')
plt.title('测试集')
plt.show()

a=pd.crosstab(data_train['subGrade'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

#还需要看一下这二者之间的相关性如何，由于二者都不是数值型特征，故暂时不可以计算相关性
data_train['subGrade'].corr(data_train['grade'])

 

 

 

 

 

觉得可以删除小等级的那个特征

6.就业职称和就业年限 employmentTitle（就一堆数字，已经加密过的），employmentLength，现在只是在简单理解每个特征的分布，还没有到特征构造的时候（后面再进行）

#data_train['employmentTitle'].value_counts().plot.hist()
sns.distplot(data_train['employmentTitle'])
data_train['employmentTitle'].value_counts().sort_values(

 

这个数据是连续型，暂时留着吧

 

(378351.0, -1.0, count    800000.000000
 mean      72005.261706
 std      106585.603991
 min          -1.000000
 25%         427.000000
 50%        7755.000000
 75%      117663.250000
 max      378351.000000
 Name: employmentTitle, dtype: float64)

def employmentLength_to_int(s):
    if pd.isnull(s):
        return s
    else:
        return np.int8(s.split()[0])
for data in [data_train, data_test_a]:
    data['employmentLength'].replace(to_replace='10+ years', value='10 years', inplace=True)
    data['employmentLength'].replace('< 1 year', '0 years', inplace=True)
    data['employmentLength'] = data['employmentLength'].apply(employmentLength_to_int)
data_train['employmentLength'].value_counts().sort_index().plot.bar()
plt.show()

a=pd.crosstab(data_train['employmentLength'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

这个字段已经处理过了，后面主要注意一下,上面图中，缺失值并没有显示出来，需要注意一下

7.homeOwnership，借款人在登记时提供的房屋所有权状况，verificationStatus：验证状态，purpose：借款人在贷款申请时的贷款用途类别，

data_train['homeOwnership'].value_counts().plot.bar()
plt.show()
a=pd.crosstab(data_train['homeOwnership'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 修改之后就好多了

这个分布奇奇怪怪的，应该是0是有房子，1是没有房子，其他的值可以并到一起

data_train['verificationStatus'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['verificationStatus'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

这个特征看着就舒服多了

data_train['purpose'].value_counts()
data_train['purpose'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['purpose'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

乱七八糟的

贷款时初始状态initialListStatus

data_train['initialListStatus'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['initialListStatus'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 annualIncome：年收入

 

 

 这个值异常值就很多，看看得要怎么处理

 dti：债务收入比，异常值很多，我觉得这个应该是<=100是合理的（323个值异常）

 

 

 

(999.0, -1.0, count    800000.000000
 mean         18.278796
 std          11.153469
 min          -1.000000
 25%          11.790000
 50%          17.610000
 75%          24.060000
 max         999.000000
 Name: dti, dtype: float64)

 

 delinquency_2years：借款人过去2年信用档案中逾期30天以上的违约事件数

离群值特别多，可以划分为0,1-3，4-7,8+

(39.0, 0.0, count    800000.000000
 mean          0.318239
 std           0.880325
 min           0.000000
 25%           0.000000
 50%           0.000000
 75%           0.000000
 max          39.000000
 Name: delinquency_2years, dtype: float64)

 

 

 借款人在贷款发放时的fico所属的下限范围  和借款人在贷款发放时的fico所属的上限范围

 

 

 openAcc：借款人信用档案中未结信用额度的数量

离群点多

(86.0, 0.0, count    800000.000000
 mean         11.598020
 std           5.475286
 min           0.000000
 25%           8.000000
 50%          11.000000
 75%          14.000000
 max          86.000000
 Name: openAcc, dtype: float64)

 

 

 

 

 

 applicationType:表明贷款是个人申请还是与两个共同借款人的联合申请，这个字段严重倾斜

data_train['applicationType'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['applicationType'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

 

policyCode：公开可用的策略_代码=1新产品不公开可用的策略_代码=2，都是一个值，可以删除了

data_train['policyCode'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['policyCode'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

n11,和n12 ,数据严重倾斜，我做了一定处理，才能弄成这样

data=data_train
data['n11'].replace(2, value=1, inplace=True)
data['n11'].replace(3, value=1, inplace=True)
data['n11'].replace(4, value=1, inplace=True)
data['n11'] = data['n11'].fillna(-1)
data['n11'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data['n11'],data['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

data['n12'].replace(2, value=1, inplace=True)
data['n12'].replace(3, value=1, inplace=True)
data['n12'].replace(4, value=1, inplace=True)
data['n12'] = data['n12'].fillna(-1)
data['n12'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data['n12'],data['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

 

 

 

 

8.postCode：借款人在贷款申请中提供的邮政编码的前3位数字，regionCode：地区编码

data_train[['postCode', 'regionCode']].head()  #postCode没有什么信息，加密过的，数值特别多，后面再看看吧

#主要看看地区编码
data_train['regionCode'].value_counts()
data_train['regionCode'].value_counts().sort_index().plot.bar()
plt.show()
a=pd.crosstab(data_train['regionCode'],data_train['isDefault'])
a['坏用户占比']=a[1]/(a[0]+a[1])
a['坏用户占比'].plot()
plt.show()

 

 

 

划分数值型特征和类别型

numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)
category_fea = list(filter(lambda x: x not in numerical_fea,list(data_train.columns)))

 

 数值特征中也有离散特征

#过滤数值型类别特征
def get_numerical_serial_fea(data,feas):
    '''
    目的：划分数值型变量中的连续变量和分类变量
    data:需要划分的数据集
    feas:需要区分的特征的名称
    返回：连续变量和分类变量 的list集合
    '''
    numerical_serial_fea = []
    numerical_noserial_fea = []
    for fea in feas:
        temp = data[fea].nunique()
        if temp <= 10:
            numerical_noserial_fea.append(fea)
            continue
        numerical_serial_fea.append(fea)
    return numerical_serial_fea,numerical_noserial_fea
numerical_serial_fea,numerical_noserial_fea = get_numerical_serial_fea(data_train,numerical_fea)

 

将全部的类别特征转化，有一定层次的用标签化，其余的用独热编码['grade', 'subGrade', 'issueDate', 'earliesCreditLine']

data_train[['grade', 'subGrade', 'issueDate', 'earliesCreditLine']].isnull().sum()
for data in [data_train, data_test_a]:
    data['grade'] = data['grade'].map({'A':1,'B':2,'C':3,'D':4,'E':5,'F':6,'G':7})
    
#label-encode:subGrade,postCode,title
# 高维类别特征需要进行转换
from tqdm import tqdm
from sklearn.preprocessing import LabelEncoder
for col in tqdm(['subGrade']):
    le = LabelEncoder()
    le.fit(list(data_train[col].astype(str).values) + list(data_test_a[col].astype(str).values))
    data_train[col] = le.transform(list(data_train[col].astype(str).values))
    data_test_a[col] = le.transform(list(data_test_a[col].astype(str).values))
print('Label Encoding 完成')

 

 看一下这二者之间的相关性，删除其中一个

data_train['subGrade'].corr(data_train['grade'])
#0.9756093687672992  可以考虑删除一样
data_train=data_train.drop(['subGrade'],axis=1)
data_test_a=data_test_a.drop(['subGrade'],axis=1)

 

贷款发放日期'issueDate'，借款人最早报告的信用额度开立的月份：earliesCreditLine，看了一下，这个这两个字段是有时间的，

#构造字段
#转化成时间格式
data_train['issueDate'] = pd.to_datetime(data_train['issueDate'],format='%Y-%m-%d')
startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
data_train['issueDateDT'] = data_train['issueDate'].apply(lambda x: x-startdate).dt.days


#转化成时间格式
data_test_a['issueDate'] = pd.to_datetime(data_train['issueDate'],format='%Y-%m-%d')
startdate = datetime.datetime.strptime('2007-06-01', '%Y-%m-%d')
data_test_a['issueDateDT'] = data_test_a['issueDate'].apply(lambda x: x-startdate).dt.days

 

年份数，月份数

for data in [data_train,data_test_a]:
    
    data['year']=data['earliesCreditLine'].apply(lambda x:x[4:])
    data['month']=data['earliesCreditLine'].apply(lambda x:x[:3])
    data['month']=data['month'].map({'Apr':4,
'Aug':8,
'Dec':12,
'Feb':2,
'Jan':1,
'Jul':7,
'Jun':6,
'Mar':3,
'May':5,
'Nov':11,
'Oct':10,
'Sep':9})
    data['year_1']=data['issueDate'].dt.year
    data['month_1']=data['issueDate'].dt.month
    data['earliesCreditLine_month']=(data['year_1']-data['year'].astype(int))*12+(data['month_1']-data['month'].astype(int))
    data['earliesCreditLine_year']=data['year_1']-data['year'].astype(int)
    #data=data.drop(['year','month','year_1','month_1'],axis=1)

 离散型数值变量

['term',
 'homeOwnership',  分为0和1 吧
 'verificationStatus',
 'isDefault',  这个是label
 'initialListStatus',
 'applicationType',  虽然严重倾斜，但是区分度很好，不知道要不要留着
 'policyCode',  只有一个值，可以删除
 'n11', 也是严重倾斜，可以把>=1合并,空值为-1 
 'n12']  同上

for data in [data_train,data_test_a]:
    data['n11'].replace(2, value=1, inplace=True)
    data['n11'].replace(3, value=1, inplace=True)
    data['n11'].replace(4, value=1, inplace=True)
    data['n11'] = data['n11'].fillna(-1)

for data in [data_train,data_test_a]:
    data['n12'].replace(2, value=1, inplace=True)
    data['n12'].replace(3, value=1, inplace=True)
    data['n12'].replace(4, value=1, inplace=True)
    data['n12'] = data['n12'].fillna(-1)

for data in [data_train,data_test_a]:
    data['homeOwnership'].replace(2, value=1, inplace=True)
    data['homeOwnership'].replace(3, value=1, inplace=True)
    data['homeOwnership'].replace(4, value=1, inplace=True)
    data['homeOwnership'].replace(5, value=1, inplace=True)

删除了变量，然后做独热编码

data_train=data_train.drop(['policyCode'],axis=1)
data_test_a=data_test_a.drop(['policyCode'],axis=1)
print(data_train.shape,data_test_a.shape)  #(800000, 54) (200000, 55)

 

 独热编码

data_train=pd.get_dummies(data_train, columns=['term', 'homeOwnership', 'verificationStatus','initialListStatus','applicationType', 'n11', 'n12'], drop_first=True)

data_test_a=pd.get_dummies(data_test_a, columns=['term', 'homeOwnership', 'verificationStatus','initialListStatus','applicationType', 'n11', 'n12'], drop_first=True)