数据预处理 | python 第三方库 imblearn 处理样本分布不均衡问题

说明：目前 只记录了 过采样 和 欠采样 的代码部分

 

1 样本分布不均衡描述：

主要出现在与分类相关的建模问题上，不均衡指的是不同类别的样本量差异非常大。

样本量差距过大会影响到建模结果

 

2 出现的场景：

异常检测：如恶意刷单、黄牛，这些数据样本所占的比例通常是整体样本中很少的一部分

客户流失：大型企业的流失客户相对于整体客户通常是少量的

偶发事件：个案较少，通常无法预判。如 由于某网络大V无意中转发了企业的一条趣味广告，导致用户流量明显提升

低频事件：预期或计划性事件，但是发生频率非常低。如 “双11”

 

3 处理方法：

3.1 抽样：

过抽样：

from imblearn.over_sampling import SMOTE

又称上采样（over-sampling），通过增加分类中少数类样本的数量来实现样本均衡

欠抽样：

from imblearn.under_sampling import RandomUnderSampler

又称下采样（under-sampling），其通过减少分类中多数类样本的数量来实现样本均衡

 

注意 使用 imblearn 时 数据中不能有缺失值，否则会报错

 

1 导入数据

import pandas as pd

# 导入数据文件
df = pd.read_table('data.txt', sep='\t')

 

 2 查看数据分布，发现分布不均衡

df.groupby('label').count()

 

 3 切片，分开 特征x 和 目标y

x, y = df.iloc[:,:-1], df.iloc[:,-1]

 

4 使用 SMOTE 进行过抽样处理

# 导包
from imblearn.over_sampling import SMOTE
# 建立模型
smote_model = SMOTE()
# 进行过抽样处理
x_smote, y_smote = smote_model.fit_sample(x, y)
# 将特征值和目标值组合成一个DataFrame
smote_df = pd.concat([x_smote,y_smote], axis=1)

　　处理完成，查看分布情况

 

5 使用 RandomUnderSampler 方法进行欠抽样处理

from imblearn.under_sampling import RandomUnderSampler
# 建立模型
under_model = RandomUnderSampler()
# 欠抽样处理
x_under, y_under = under_model.fit_sample(x,y)
# 合并数据
under_df = pd.concat([x_under, y_under],axis=1)

　　处理完成，查看分布情况

 

3.2 正负样本的惩罚权重

在算法实现过程中，对于分类中不同样本数量的类别分别赋予不同的权重，然后进行计算和建模。一般思路分类中的小样本量类别权重高，大样本量类别权重低。

 

3.3 组合/集成

每次生成训练集时，使用所有分类中的小样本量 及 大样本量中随机抽取的数据，思路类似于随机森林。