摘要:
目前很多方法都不能很好地处理高度不平衡、大规模和有噪声的分类任务,主要原因是它们忽视了不平衡学习所隐含的困难。本文引入“分类硬度”的概念来刻画不平衡问题的困难所在,该概念表示为特定分类器正确分类样本的难度。基于这个概念,本文提出了一种新的学习框架——自定步速集成(self-pace Ensemble,SPE)。SPE 通过考虑分类硬度在数据集上的分布,根据硬度分布迭代选择信息量最大的多数数据样本,欠采样策略由自定节奏程序控制。这种过程使 SPE 框架逐渐集中在较难的数据样本上,同时仍然保留容易样本分布的知识,以防止过拟合。
通过大量的实验表明,与现有方法相比,SPE 具有准确、快速、鲁棒性好、适应性强等优点。 阅读全文