2020全国大学生数学建模C题中小微企业的信贷决策随机森林代码

　　2020全国大学生数学建模C题中小微企业的信贷决策（含随机森林代码）

　　原文链接：https://www.cnblogs.com/tablog/p/2020cumcm.html

       2020全国大学生数学建模全部原题含附件：https://ricardio.lanzouw.com/b01wj9azc   密码:6p04

　　某银行对确定要放贷企业的贷款额度为10~100万元；年利率为4%~15%；贷款期限为1年。附件1~3 分别给出了123家有信贷记录企业的相关数据、302家无信贷记录企业的相关数据和贷款利率与客户流失率关系的2019年统计数据。我们团队需根据实际和附件中的数据信息，通过建立数学模型研究对中小微企业的信贷策略，主要帮助银行解决下列问题：

　　(1) 对附件1中123家企业的信贷风险进行量化分析，给出该银行在年度信贷总额固定时对这些企业的信贷策略。

　　(2) 在问题1的基础上，对附件2中302家企业的信贷风险进行量化分析，并给出该银行在年度信贷总额为1亿元时对这些企业的信贷策略。

　　(3) 企业的生产经营和经济效益可能会受到一些突发因素影响，而且突发因素往往对不同行业的企业会有不同的影响。综合考虑附件2中各企业的信贷风险和可能的突发因素对各企业的影响，给出该银行在年度信贷总额为1亿元时的信贷调整策略。

一、问题的分析

       综合考虑附件2中各企业的信贷风险和新冠疫情对各企业的影响，我们首先对企业名称做文本分析，根据词频统计结果，选取了劳务、工程建筑业、文化等九个行业类别。其次，我们通过国家数据网，收集了2020年第二季度各行业GDP与上一年的同期增长率，对在突发事件下的风险值进行了修正和归一化处理，建立并求解信贷策略的非线性规划模型，最终给出了该银行在年度信贷总额为1亿元时的信贷策略，其中银行所获最大利润为232.3474万元。此问题综合考虑附件2中各企业的信贷风险和新冠疫情这一突发因素对各行业企业GDP的影响，首先对企业名称进行文本分析，在统计出附件中出现频率较高的企业类别之后，结合2020年第二季度企业GDP与上一年的同期增长率得出一个修正后的风险值 ，将其标准化后再代入信贷策略规划模型，从而给出该银行在年度信贷总额为1亿元时的信贷调整策略。

二、问题假设

　　1、假设信贷风险率 与所选指标 有关；

　　2、在这段时间内不考虑经济波动；

　　3、假设数据来源于随机样本；

　　4、假设有 个 ， 因素影响 的取值；

　　5、因变量Y是分类变量，一般为二分类变量，我们研究的目的是在X事件发生时Y取值的条件概率。

三、随机森林

       随机森林是一种集成机器学习方法，它利用随机重采样技术和节点随机分裂技术构建多棵决策树，通过投票得到最终分类结果。随机森林具有分析复杂相互作用分类特征的能力，对于噪声数据和存在缺失值的数据具有较强鲁棒性，其学习速度较快，且不容易出现过拟合。

       随机森林机器学习模型选取自助法（bootstrap）进行数据集的提取，即对于每棵树而言，随机且有放回地从规模为n的训练集中的抽取n个进行训练；RF模型在抽样的基础上构造出Bagging算法，这种方法将训练集分成m个，然后在每个新训练集上构建一个模型，各自不相干，最后预测结果为这m个模型结果的整合（如图所示）。

 

　　我们选择包含众多机器学习模型的Sklearn第三方模块实现随机森林模型的构建与训练。模型构建过程如下图

 

 

　　在机器学习模型中，当模型复杂度不足时，机器学习程度不足，会出现欠拟合现象；当复杂度逐渐提高到最佳模型复杂度时，将会达到最高准确度；当复杂度仍在提高，将会出现过拟合现象。因此，我们通过不断调节模型中的参数来提高训练准确度，使其尽可能地接近泛化误差最低点。随机森林模型主要的参数有n_estimators（子树的数量）和max_depth（树的最大生长深度），我们通过超参数搜索，最终确定使用n_estimators=30，max_depth=16的参数设置来预测“信誉评级”，n_estimators=30，max_depth=11来预测“是否违约”，最终训练达到了45%与85%左右的测试集与验证集准确率。

 

python代码（所使用的数据、及调用的文件均来自赛题）

sort.py文件（数据的预处理）处理后的文件用spss拟合

import pandas as pd
from pandas import DataFrame

#筛选无效发票
def ticket():
    data = pd.read_excel('C:/Users/yzj/Desktop/信贷风险值.xlsx', sheet_name="Sheet3")# 读取文件附件2：302家无信贷记录企业的相关数据
    data = data[~data['发票状态'].isin(['有效发票'])]   #删除作废发票

DataFrame(data).to_excel('C:/Users/yzj/Desktop/信贷风险值.xlsx', index=False, header=True)

#读取金额信息
def money():
df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/进项有效发票.xlsx")  # 读取每一个公司信息
print(df.groupby('企业代号')[['金额','税额','价税合计']].sum())
d=df.groupby('企业代号')[['金额','税额','价税合计']].sum()
d.to_csv("C:/Users/yzj/Desktop/第二题数据/进项金额税额.csv",encoding='utf-8-sig',index=False, header=True)

#统计日期
def data():
df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/进项有效发票.xlsx" )  # 读取每一个公司信息
d=df.groupby('企业代号')[['开票日期']].nunique()
print(df.groupby('企业代号')[['开票日期']].nunique())
#d.to_csv("C:/Users/yzj/Desktop/第二题数据/销项日期.csv",encoding='utf-8-sig',index=False, header=True)
d.to_csv("C:/Users/yzj/Desktop/第二题数据/进项日期.csv",encoding='utf-8-sig',index=False, header=True)

def obj():
    df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/销项有效发票.xlsx" )  # 读取每一个公司信息
#df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/进项有效发票.xlsx" )  # 读取每一个公司信息
d=df.groupby('企业代号')[['购方单位代号']].nunique()
print(df.groupby('企业代号')[['购方单位代号']].nunique())
d.to_csv("C:/Users/yzj/Desktop/第二题数据/销项供应商.csv",encoding='utf-8-sig',index=False, header=True)

#统计发票状态数量
def ticket_state():
    df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/进项有效发票.xlsx" )  # 读取每一个公司信息
d=df.groupby('企业代号')['发票状态'].value_counts()
print(df.groupby('企业代号')['发票状态'].value_counts())

#统计发票总数
def ticket_count():
pd.set_option('display.max_rows', 500)
pd.set_option('display.max_columns', 100)
pd.set_option('display.width', 1000)
    df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/销项有效发票.xlsx")  # 读取每一个公司信息
#df=pd.read_excel("C:/Users/yzj/Desktop/第二题数据/进项有效发票.xlsx")  # 读取每一个公司信息
d=df.groupby('企业代号')['发票状态'].value_counts()
print(df.groupby('企业代号')['发票状态'].value_counts())
d.to_csv("C:/Users/yzj/Desktop/第二题数据/销项有效发票总数.csv",encoding='utf-8-sig',index=False, header=True)

RF.py文件（随机森林代码）选取某些参数最为评定标准，预测信誉值

#随机森林 预测信誉值ABCD违约行为
import pandas as pd
from sklearn.externalsimport joblib
from sklearn.feature_extractionimport DictVectorizer
from sklearn.model_selectionimport train_test_split
from sklearn.ensembleimport RandomForestClassifier
from sklearn.model_selectionimport GridSearchCV

def forest():
# 加载数据
firm= pd.read_excel("C:/Users/yzj/Desktop/国赛/C/问题一总表1.xlsx")
# 构造特征值和目标值
feature = firm[["进项发票有效率", "销项发票有效率","总销方数","总售方数",”进项年平均价税总额”,”销项年平均价税总额”]]
    target = firm["信誉评级"]
#target = titan["是否违约"]
    # 特征预处理
# 查看有没有缺失值
print(pd.isnull(feature).any())
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(feature, target, test_size=0.25)
print("训练集：", x_train.shape, y_train.shape)
print("测试集：", x_test.shape, y_test.shape)
# 建立模型
rf = RandomForestClassifier()
# 超参数搜索
param = {"n_estimators":range(20,100,10), "max_depth":range(1,50,5)}
model = GridSearchCV(rf, param_grid=param, cv=10)
# 训练
model.fit(x_train, y_train)
print("测试集准确率：", model.score(x_test, y_test))
print("验证集准确率：", model.best_score_)
print("最好模型参数：", model.best_params_)
print("最好模型模型：", model.best_estimator_)
#保存模型
joblib.dump(model, 'C:/Users/yzj/Desktop/第二题数据/model_level_change.pkl')
#joblib.dump(model, 'C:/Users/yzj/Desktop/第二题数据/model_obey_change.pkl')
def test():
#引入测试数据
df = pd.read_excel("C:/Users/yzj/Desktop/第二题数据/问题二总表1.xlsx")
#数据预处理
X = df.drop(['是否违约'], axis=1)
#导入模型
clf = joblib.load("C:/Users/yzj/Desktop/第二题数据/model_level_change.pkl")
namelist = []
#得到预测目标值
tolist = clf.predict(X)
for iin tolist:
namelist.append(i)
#对目标值列进行赋值
df['信誉评级'] = namelist
df.to_csv("C:/Users/yzj/Desktop/第二题数据/model_level_change.csv", encoding='utf-8')
print(tolist)

Statistics.py文件（一个词云图的代码）为了论文更直观、好看做的一个

import pandas as pd
# 导入扩展库
import re # 正则表达式库
import collections # 词频统计库
import wordcloud# 词云展示库
from PIL import Image # 图像处理库
import matplotlib.pyplotas plt# 图像展示库
import numpyas np
import jieba
import jieba
import re
import collections
from wordcloudimport WordCloud, STOPWORDS, ImageColorGenerator
from PIL import Image
import matplotlib.pyplotas plt
from pandas import DataFrame

corpus = pd.read_excel('C:/Users/yzj/Desktop/国赛/C/附件2：302家无信贷记录企业的相关数据.xlsx') # 得到DataFrame
corpus = np.array(corpus)  # 转换为ndarray [[1], [2], [3]]
#print(corpus)
corpus = corpus.reshape(1, len(corpus)).tolist()  # 转换成 List [[1, 2, 3]]
corpus = corpus[0]  # 取第一个元素得到最终结果 [1, 2, 3]
print(corpus)
object_list = []
for iin range(len(corpus)):
    text = corpus[i]
for chin text:
if ch<='9'and ch>='0':
            text = text.replace(ch, " ")
if ch<='Z'andch>='A':
            text = text.replace(ch, " ")

#remove_words = ['','公司','有限','有限公司','经营','个体','个体经营','有限责任',
    #                '责任','*','经营部','营部','设备','管理','技术','咨询','建筑工程','建设工程']  # 自定义去除词库
remove_words = ['', '公司', '有限', '经营', '个体',
'责任', '*', '经营部', '营部', '建筑工程', '建设工程']  # 自定义去除词库

#得到所有单词
words = jieba.cut(text,cut_all=True)
space_wordlist = ""

for word in words:
if word not in remove_words:
object_list.append(word)
space_wordlist = word+space_wordlist

#统计词频
word_counts = collections.Counter(object_list) # 对分词做词频统计
word_counts_top15 = word_counts.most_common(15) # 获取前10最高频的词
print (word_counts_top15) # 输出检查

# 词频展示
#mask = np.array(Image.open('C:/Users/yzj/Desktop/wordcloud.jpg')) # 定义词频背景
wc = wordcloud.WordCloud(
font_path='C:/Windows/Fonts/simhei.ttf', # 设置字体格式
#mask=mask, # 设置背景图
#max_words=88, # 最多显示词数
#max_font_size=100, # 字体最大值
background_color= 'white',
margin=2
)

wc.generate_from_frequencies(word_counts) # 从字典生成词云
plt.imshow(wc) # 显示词云
plt.axis('off') # 关闭坐标轴
plt.savefig('C:/Users/yzj/Desktop/test5.png')
plt.show() # 显示图像