建模常用的自定义函数(ks,auc等）

 

1.统计拆分训练集测试集之后的分布

def summary(data_train, data_test, y):
    '''
    函数目标：统计数据拆分训练集和测试集之后的分布（如样本数量，坏账率之类的）
    变量：
    data_train:训练集（包括label）
    data_test:测试集（包括label),如果label是单独的，需要先合并，但是也可以直接（data_train, data_test = train_test_split()
    y:label的columns_name
    返回值：
    一个df
    '''

    summary = pd.DataFrame(
        {
            '样本数': [len(data_train), len(data_test)],
            '坏账数': [data_train[y].sum(), data_test[y].sum()],
            '坏账率': [
                round(data_train[y].mean(), 4),
                round(data_test[y].mean(), 4)
                ],
        },
        index=['训练集', '测试集']
    )[['样本数', '坏账数', '坏账率']]
    summary.index.name = '数据集'
    return summary

 

2.计算ks

def ks(self, data, y):
    '''
    目标：计算出分类模型的ks值
    变量：
    self:模型fit(x,y)，如（self=tree.fit(x,y))
    data:一般是训练集（不包括label）或者是测试集（也是不包括label）
    y:label的column_name 
    返回：训练集（或者测试集）的ks值

    '''

    p = self.predict(data)
    fpr, tpr, p_threshold = metrics.roc_curve(data[y], p,
                                              drop_intermediate=False,
                                              pos_label=1)
    df = pd.DataFrame({'fpr': fpr, 'tpr': tpr, 'p': p_threshold})
    df.loc[0, 'p'] = max(p)

    ks = (df['tpr'] - df['fpr']).max()

    return ks

 

3.计算auc

def auc(self, data, y):
    '''
    目标：计算出分类模型的ks值
    变量：
    self:模型fit(x,y)，如（self=tree.fit(x,y))
    data:一般是训练集（不包括label）或者是测试集（也是不包括label）
    y:label的column_name 
    返回：训练集（或者测试集）的auc值

    '''   

    p = self.predict(data)
    fpr, tpr, p_threshold = metrics.roc_curve(data[y], p,
                                              drop_intermediate=False,
                                              pos_label=1)
    df = pd.DataFrame({'fpr': fpr, 'tpr': tpr, 'p': p_threshold})
    df.loc[0, 'p'] = max(p)

    roc_auc = metrics.auc(fpr, tpr)

    return roc_auc

 

4.ks画图

def plot_ks(self, data, y):
    '''
    目的：画出ks的图片
    变量：
    self:模型fit(x,y)，如（self=tree.fit(x,y))
    data:一般是训练集（不包括label）或者是测试集（也是不包括label）
    y:label的column_name 
    返回：训练集（或者测试集）的ks图片

    '''

    p = self.predict(data)

    fpr, tpr, p_threshold = metrics.roc_curve(data[y], p,
                                              drop_intermediate=False,
                                              pos_label=1)
    df = pd.DataFrame({'fpr': fpr, 'tpr': tpr, 'p': p_threshold})
    df.loc[0, 'p'] = max(p)

    df['diff'] = df['tpr'] - df['fpr']
    ks = df['diff'].max()
    ks_p = df.loc[df['diff'] == ks, 'p'].iloc[0]

    fig = plt.figure(figsize=(2.8, 2.8), dpi=140)
    ax = fig.add_subplot(111)
    ax.plot(df['p'], df['tpr'], color='navy', lw=2, label='TPR')
    ax.plot(df['p'], df['fpr'], color='darkorange', lw=2, label='FPR')
    ax.plot(
        [ks_p, ks_p],
        [
            df.loc[df['p'] == ks_p, 'tpr'].iloc[0],
            df.loc[df['p'] == ks_p, 'fpr'].iloc[0]
        ],
        color='crimson',
        lw=2,
        label='KS = %.4f' % ks
    )
    ax.set_xlim([0.0, df['p'].max()])
    ax.set_ylim([0.0, 1.05])
    ax.set_xlabel('Prob Threshold')
    ax.set_ylabel('Rate')
    ax.set_title('K-S Curve')
    ax.legend(loc="upper right")

    return fig

 

5.auc画图

def plot_roc(self, data, y):
    '''
    目标：计算出分类模型的ks值
    变量：
    self:模型fit(x,y)，如（self=tree.fit(x,y))
    data:一般是训练集（不包括label）或者是测试集（也是不包括label）
    y:label的column_name 
    返回：训练集（或者测试集）的auc的图片

    '''      

    p = self.predict(data)
    fpr, tpr, p_threshold = metrics.roc_curve(data[y], p,
                                              drop_intermediate=False,
                                              pos_label=1)
    df = pd.DataFrame({'fpr': fpr, 'tpr': tpr, 'p': p_threshold})
    df.loc[0, 'p'] = max(p)

    ks = (df['tpr'] - df['fpr']).max()
    roc_auc = metrics.auc(fpr, tpr)

    fig = plt.figure(figsize=(2.8, 2.8), dpi=140)
    ax = fig.add_subplot(111)

    ax.plot(fpr, tpr, color='darkorange', lw=2,
            label='ROC curve\nAUC = %0.4f\nK-S = %0.4f' % (roc_auc, ks)
            )
    ax.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')

    ax.set_xlim([0.0, 1.0])
    ax.set_ylim([0.0, 1.05])
    ax.set_xlabel('False Positive Rate')
    ax.set_ylabel('True Positive Rate')
    ax.set_title('ROC Curve')
    ax.legend(loc="lower right")
    plt.close()
    return fig