不平衡数据集处理办法
欠采样:若随机丢失反例,可能丢失一些重要信息。代表性算法EasyEnsemble是利用集成学习机制,将多数类样本划分若干个集合供不同学习器使用,这样对每个学习器来看都进行了欠采样,但在全局来看不会丢失信息。
过采样:不能简单的对初始样本进行重复采样,否则会招致严重的过拟合。代表性算法SMOTE,对训练集里的样本进行插值产生额外样本。
阈值移动:直接基于原始训练集进行学习,但在用训练好的分类器进行预测时,将式(1)嵌入决策过程中。
可以把小类样本作为异常点(outliers),把问题转化为异常点检测问题(anomaly detection)。此时分类器需要学习到大类的决策分界面,即分类器是一个单个类分类器(One Class Classifier)。
解决这类问题主要分重采样、欠采样、调整权值