摘要：
针对 CTC 分类性能较差和 Bagging 的可解释性较差的问题，本文提出了一种结合 CTC 和 Bagging 的算法 PCTBagging。首先构建一棵不完整的 CTC，CTC 的规模由超参数合并比来确定，接着使用 Bagging 完成后续的树结构的生成。将 PCTBagging 的结果与 Bagging、CTC 和 C4.5 的进行比较，从实验结果可见 PCTBagging 在保持 CTC 的可解释结构的同时，实现了与 Bagging 相似的分类能力。 阅读全文
摘要：
针对存在大量相关特征时重要特征的影响被削弱的问题，本文设计了一种通过稀疏森林来消除相关偏差的特征选择算法 ControlBurn。首先使用套袋和提升等方法生成森林，然后通过一个平衡特征稀疏性和预测性能的组 LASSO 惩罚目标为每棵树选择稀疏权值，从而减少树的数量。与 Wrapper 特征选择方法不同，ControlBurn 只需要一次训练迭代即可运行。通过实验说明，当应用于具有相关特征的数据集时，ControlBurn 优于传统的特征选择算法。 阅读全文
摘要：
按照算法的类型对个人的 Paper Reading 博客进行汇总，涉及多个研究方向的论文将按照个人主观感觉的主要方向排列。 目录不平衡学习并行与分布式多标签学习回归决策树集成学习进化计算计算机视觉神经决策模型神经网络生物信息特征工程 不平衡学习 A Novel Model for Imbalance 阅读全文
摘要：
本文将集成特征选择问题建模为具有两个目标的帕累托优化问题，提出一种类型的异构集成特征选择算法 PEFS。首先采用两种聚合方法对四种不同 FS 方法得到的结果进行组合，接着使用双目标优化来评估这些结果，最后根据非优势特征在双目标空间中的拥挤距离进行排序。该方法平衡了关联度和冗余性两种不同的 FS 方法，对相关性最大、冗余最少的特征给出更高的排序。实验使用了 7 个真实的数据集，将 PEFS 与一些基本的 FS 算法和集成 FS 算法进行比较，结果表明本文提出的方法在 acc、F1 和运行时间上比其他方法更好。 阅读全文
摘要：
为了提高计算机视觉模型的可解释性，本文融合深度学习和决策树提出了神经支持决策树(NBDTs)。NBDT 使用一个可微的倾斜决策树取代了神经网络的最后一个线性层，和经典的决策树方法不同，NBDT 使用从模型参数派生的层次结构，不使用分层 softmax。NBDT 可以从任何现有的分类神经网络中创建，无需对模型架构进行修改。这样的模型结构不会过度拟合特征空间，减少了决策树对高度不确定决策的依赖，并鼓励对高级概念的准确识别。通过实验证明 NBDT 在 ImageNet、TinyImageNet200 和 CIFAR100 上的性能等同于或优于一些现有的模型，模型提供的解释可以让用户更方便地识别模型的错误，并且可用于识别模糊的 ImageNet 标签。 阅读全文
摘要：
针对数据集存在缺失值的问题，本文提出了一种基于多树 GP(MTGP) 的迁移学习方法 pMTGPDA，用于将知识从完整的源域转移到不完整的目标域中。首先在源域的数据集上训练多个 SR 模型，通过模型中的训练细节计算源域的特征和实例的权重作为先验知识。然后将提取的权重知识用于基于 MTGP 的转换，构造源特征空间到目标特征空间的非对称映射，实现估算目标域中缺失的值的作用。产生变换后的特征和实例以及权重后，对输入的目标数据进行正常的 SR，得到输出的结果。对于 MTGP 的交叉、变异操作，本文开发了新的遗传算子进行优化，而且设置的适应度函数能同时度量域之间的不匹配度和 SR 的学习性能。 阅读全文
摘要：
本文提出了一种类不平衡问题的功能树(FT4cip)，该模型使用了考虑类不平衡的分割评估函数 Twoing，以及使用了一种优化 AUC 的新型剪枝算法。同时对多变量分割使用特征选择，进一步提高分类性能和可解释性。通过大量的实验分析证明，FT4cip 在 AUC 上的分类性能优于 LMT 和 Gama。接着对几种算法进行元分析，显示了 FT4cip 比 LMT 和 Gama 具有更好性能的问题类型。最后根据对分类性能的影响对算法的不同进行排序，证明所采取的设计决策是合理的。 阅读全文
摘要：
为了实现既能处理原始图像，又能保留原始图像的属性，并且能够生成既具有高视觉质量又能丰富深度模型判别能力的图像。本文在 SMOTE 方法的基础上提出了一种新的深度学习模型过采样算法 DeepSMOTE，由三个主要部分组成：Encoder/Decoder、SMOTE、用惩罚项增强的 loss 函数。该方法允许在深度学习模型中嵌入有效的人工实例，以实现简化的端到端过程，和 GAN 方法不同在于 DeepSMOTE 在训练中不需要鉴别器。将 DeepSMOTE 与多种现有的算法进行比较，使用五种流行的图像基准和三种专用的评价指标证明 DeepSMOTE 的性能更优。DeepSMOTE 生成的高质量人工图像既适合视觉检查，又具有丰富的信息，可以有效地平衡类别并减轻不平衡分布的影响。 阅读全文
摘要：
受人类学习过程的启发，本文根据学习速度设计了样本难度模型，并提出了一种新的实例级再平衡策略。具体来说模型在每个训练周期记录每个实例的预测，并根据预测的变化来测量该样本的难度难度。然后对困难实例赋予更高的权重，对数据进行重新采样。本文从理论上证明了提出的重采样策略的正确性和收敛性，并进行一些实证实验来展示本文算法的能力。 阅读全文
摘要：
本文是不平衡分类问题的经典论文，文中提出了 2 种不平衡集成学习模型都是简单而有效的 baseline 方法。 EasyEnsemble 方法直接对多数类样本进行采样得到几个子集，并使用这些子集分别训练基分类器。BalanceCascade 是使用训练好的分类器来指导后续分类器的采样过程，即在上一个分类器被分类正确的样本将在下一个分类器中移除。两种方法在 16 个 UCI 数据集上的实验表明，与许多现有的类失衡学习方法相比，这两种方法在各个指标上都具有更高的性能。 阅读全文