随笔分类 -  Paper Reading

摘要:相比于原先的 ISA 方法将每个实例当做一个完整的数据集,本文将 ISA 框架扩展到对单个分类数据集的分析,同时将实例定义为数据集中的观察值实现更细粒度的分析。通过将原始数据投影到二维硬度嵌入中,可以仔细检查数据质量,并更深入地理解单个数据集中的分类器行为。本文重新实例硬度的概念,使用实例硬度评估分类数据集中每个实例的困难程度或错误分类的概率。通过将描述实例硬度的元特征与多个分类器的预测性能相关联,ISA 提供了每个分类器优缺点信息,还可以对数据集中的数据质量问题进行分析。同时本文提供了一个开源 Python 工具包 PyHard,它封装实现了 ISA,并提供了一个交互式可视化界面将实例硬度与分类性能联系起来。 阅读全文
posted @ 2024-11-28 20:00 乌漆WhiteMoon 阅读(63) 评论(0) 推荐(0) 编辑
摘要:本文提出了一种名为 Mixed Bagging 的 Bagging 框架,其中 bootstrap 得到的数据子集具有不同程度的硬度。这样的混合 bootstrap 将诱导出一组更加多样化的基学习器,且这样的分类器的集合在总体分类任务中更够提高对难分样本的关注。Mixed Bagging 框架中考虑了两种不同的方法,第一种分组混合 Bagging 有三组 bootstrap 的混合部分,分别是 easy、regular、hard。在第二种增量混合 Bagging 的设置中,bootstrap 的硬度是迭代变化的。在 47 个公开的二分类问题上对这两种 Mixed Bagging 方法进行测试,结果验证了本文提出的方法在总体上比对比算法的预测性能好得多。 阅读全文
posted @ 2024-10-30 15:24 乌漆WhiteMoon 阅读(24) 评论(0) 推荐(0) 编辑
摘要:本文将 RandBal 方法从二分类扩展到多分类,提出了两种集成策略。第一种方法称为多重随机平衡 MultiRandBal,该方法同时处理所有类,每个基分类器的训练数据都是随机抽样的。第二种方法是将多分类问题按照 OVO 或 OVA 的分解为两分类问题,并构建 RandBal 集成学习器,这两个版本分别称为 OVO-RandBal 和 OVA-RandBal。通过 52 个多分类数据集进行了实验,结果表明 MultiRandBal 和 OVO/OVA-RandBal 都是原始二分类 RandBal 的可行扩展,在多分类不平衡问题上的表现优于其他对比方法。 阅读全文
posted @ 2024-10-29 18:24 乌漆WhiteMoon 阅读(33) 评论(0) 推荐(0) 编辑
摘要:针对现有工作在多分类不平衡问题的不足,本文提出了一种新的多分类联合清洗和重采样算法 MC-CCR。MC-CCR 主要使用了分解策略的思想,利用基于能量的方法对适合过采样的区域进行挖掘。与 SMOTE 相比,该方法受离群点和异常值的影响较小。接着将其与清理操作相结合,减少了重叠类分布对学习算法性能的影响。最后提出了一种迭代策略将二分类的场景扩展到多分类,MC-CCR 比经典的多分类分解策略受类间关系信息丢失的影响更小。通过多个多类不平衡基准数据集的实验研究结果表明,该方法对噪声具有较高的鲁棒性,并且与现有方法相比具有较高的性能。 阅读全文
posted @ 2024-10-29 03:25 乌漆WhiteMoon 阅读(49) 评论(0) 推荐(0) 编辑
摘要:针对当前多分类不平衡问题仅依靠不平衡比,以及数据集的不平衡信息无法在训练过程中动态调整的问题。本文首先提出了基于自适应分布的样本权值,将类间不平衡比、类内密度变量和自适应裕度综合起来处理多类不平衡。接着将提出的自适应样本权值与 AdaBoost 学习框架相结合,提出了 AdaBoost.AD 算法,并为其提供了理论支持。通过多个不平衡数据集的实验,结果表明所提出的 AdaBoost.AD 相比现有方法具有更强的预测性能,并验证了自适应权重各个组成部分的有效性。 阅读全文
posted @ 2024-10-25 19:59 乌漆WhiteMoon 阅读(81) 评论(0) 推荐(0) 编辑
摘要:本文提出了一种新的 GNN 架构,称为协作图神经网络 Co-GNN。在 Co-GNN 网络中,图中的每个节点都被视为可以执行 STANDARD(S)、LISTEN(L)、BROADCAST(B)、ISOLATE(I) 动作之一的参与者。Co-GNN 结构由两个联合训练的“合作”消息传递神经网络组成,分别是用于解决给定任务的环境网络 η 和一个用于选择最佳行动的行动网络 π。本文对新的消息传递方案进行了理论分析,并通过对合成数据和现实世界数据的对 Co-GNN 的性能进行了验证。 阅读全文
posted @ 2024-10-23 17:42 乌漆WhiteMoon 阅读(128) 评论(0) 推荐(0) 编辑
摘要:本文基于级联森林提出了一种用于不平衡故障检测数据集的模型 DBCF,该模型设计了优化的级联随机森林,从数据层面和算法层面改进不平衡学习。首先提出了一种新的多通道级联旋转机械故障诊断框架,该框架将数据级方法和算法级方法相结合。然后提出了一种混合采样方法,通过生成新数据和丢弃类分布边缘的样本实现,为每个梯级森林通道提供平衡的数据集。最后提出了一种基于数据比例统计计算的新型平衡信息熵,并使用该指标设计了一种新型平衡森林。通过在平衡数据集上的对比实验,结果验证了 DBCF 在处理不平衡故障诊断问题上更加稳定和有效。 阅读全文
posted @ 2024-09-30 18:39 乌漆WhiteMoon 阅读(46) 评论(0) 推荐(0) 编辑
摘要:本文针对多分类不平衡学习问题设计了一种基于动态集成选择的方法 DES-MI,主要思想是针对不同的样本选择不同的分类器进行集成。首先利用随机平衡框架构造一组平衡数据集训练多个基分类器作为候选池,该重采样框架混合使用了随机欠采样、随机过采样和 SMOTE。然后通过使用样本周围的实例进行加权来评估候选分类器的能力,分类器的预测性能越高,则它在局部区域内的少数类别分类能力越强。最后根据每个选定的分类器的预测结果进行多数类投票,得票最多的类被视为最终输出类。通过 KEEL 库中的 20 个多类不平衡数据集的实验,分析了动态选择在多分类不平衡数据集场景下的有效性,结果表明 DES-MI 能够提高多分类不平衡数据集的分类性能。 阅读全文
posted @ 2024-09-29 17:53 乌漆WhiteMoon 阅读(76) 评论(0) 推荐(0) 编辑
摘要:为了解决基于现有多样性度量的学习复杂性较高的问题,本文提出了一种新的数据级多样性度量 IED。它能够直接基于训练数据集度量多样性,而不需要训练分类器,同时本文也设计了两种基于最优实例配对和贪婪实例配对的 IED 计算方法。在此基础上,本文设计了一种不平衡集成学习模型 P-EUSBagging,它使用基于种群的增量学习(PBIL)来生成子数据集,再用这些数据集用于训练具有最大数据级多样性的基分类器。P-EUSBagging 采用 Bagging 来集成,并设计了一种新的权重自适应投票策略,奖励给出正确预测的基本分类器。实验使用 44 个不平衡数据集,实验结果表明 IED 可以显著减少训练集成学习模型所需的时间,PEUSBagging 在 G-Mean 和 AUC 上都显著提高了学习性能。 阅读全文
posted @ 2024-09-28 02:41 乌漆WhiteMoon 阅读(76) 评论(0) 推荐(0) 编辑
摘要:目录问题定义数据集定义数据模型特征生成Theorem A.1 及其证明Theorem A.2 及其证明 在论文《OpenFE: Automated Feature Generation with Expert-level Performance》中作者对理论结论给出了详细的分析过程,这篇博客对该部分 阅读全文
posted @ 2024-09-19 11:00 乌漆WhiteMoon 阅读(56) 评论(0) 推荐(0) 编辑
摘要:本文设计了一种基于深度森林的embedding 学习方法 GraphDF,该方法可以实现以资源为中心的加权属性图的属性和拓扑信息的嵌入。提出的图预处理器包括基于自注意机制的潜在隐含特征挖掘、基于相似性和模块化相关转换对潜在隐含关系特征的深度一般信息挖掘。使编码器所提取的原始特征包含更全面的信息,以用于更广泛和更深的嵌入应用。还引入了一种新的特征提取器和相关的嵌入表示生成器,它利用多粒度扫描和深度级联森林在确保局部收敛的同时全局优化图嵌入表示。该方法避免了过多的约束和偏差,具有较强的泛化和判别能力,通过 7 个数据集实验结果表明 GraphDF 方法优于最先进的嵌入方法。 阅读全文
posted @ 2024-09-18 17:00 乌漆WhiteMoon 阅读(42) 评论(0) 推荐(0) 编辑
摘要:针对搜索 Pareto 前沿需要生成大量的解导致大量模型训练开销的问题,本文提出了多分类多目标选择集成 MMSE 框架。该框架在多目标建模中引入选择性集成,这样就不必重复训练整个模型,而是通过不同的基础学习器组合来获得不同的模型。训练单个学习器时使用了不同比例的欠采样数据集进行训练,提高了训练效率。同时由多个基学习器集成得到的模型可以覆盖更多的训练样本,避免了信息丢失的问题,在不同的类中具有更多样化的性能选择。当类的数量增加时,因为大多数生成的解是不可比较的,优化问题变得困难。本文进一步提出了一个基于边际的版本 MMSEmargin,它通过优化标签和实例边界来优化常见的性能度量,将目标数量减少到 3 个,同时仍然可以对常用的指标进行优化。 阅读全文
posted @ 2024-09-01 16:07 乌漆WhiteMoon 阅读(30) 评论(0) 推荐(0) 编辑
摘要:本文提出了一种可扩展自动特征工程方法 SAFE,它包括特征生成阶段和特征选择阶段,具备较高的计算效率、可扩展性,能满足实际业务问题的要求。不同于使用算子枚举所有的生成特征,本文的特征生成阶段专注于挖掘原始特征对,以更高的概率生成更有效的新特征。在特征选择阶段,本文的方法考虑了单个特征的信息量、特征对的冗余性、树模型评估的特征重要性。通过实验证明,SAFE 算法在大量数据集和多个分类器上具有优势,与原始特征空间相比预测精度平均提高了6.50%。 阅读全文
posted @ 2024-08-20 17:22 乌漆WhiteMoon 阅读(29) 评论(0) 推荐(0) 编辑
摘要:本文关注当数据集包含大量样本时的特征选择算法,主要使用梯度增强回归树实现,设计的模型称为梯度增强特征选择 GBFS。在梯度增强框架的基础上,采用贪心 CART 算法构建树。CBFS 对新特征产生的分割将受到惩罚,但如果是重用以前选择的特征就可以避免这个惩罚。当 GBFS 学习回归树的集合时,可以自然地发现特征之间的非线性相互作用。与随机森林的 FS 相比,GBFS 能够实现将特征选择和分类同时进行优化。实验环节在几个不同难度和大小的真实世界数据集上进行评估,结果表明 GBFS 优于或相当于随机森林特征选择的准确性和特征选择的性能,同时可以有效地处理特征间依赖关系。 阅读全文
posted @ 2024-08-16 15:00 乌漆WhiteMoon 阅读(38) 评论(0) 推荐(0) 编辑
摘要:本文提出了一种自动特征工程学习模型 AutoLearn,AutoLearn 基于特征对之间的回归,通过特征相互关联的方式发现数据中的潜在模式及其变化,并选择非常少量的新特征来显著提高预测性能。提出的新的特征生成方法可以捕获特征对中的显著变化,从而产生高度判别性的信息。通过实验证明了我们的方法在大量数据集和多个分类器上的优势,与原始特征空间相比,预测精度平均提高了13.28%。 阅读全文
posted @ 2024-08-13 17:31 乌漆WhiteMoon 阅读(77) 评论(0) 推荐(0) 编辑
摘要:本文提出了一种自动特征生成模型 OpenFE,它通过一个特征增强算法和一个两阶段修剪算法来解决 expand-and-reduce 框架的挑战。本文认为模型再训练并不需要准确评估新特征的增量性能,在梯度增强的启发下提出了一种用于评估新特征增量性能的高效算法 FeatureBoost。同时本文提出了一种两阶段修剪算法,以有效地从大量候选特征中检索有效特征。由于有效特征通常是稀疏的,两阶段剪枝算法以粗到细的方式进行特征剪枝。实验部分在各种数据集中验证了 OpenFE 的性能,OpenFE 大大优于现有的基线方法。同时在自动特征生成模型的研究中很多现有方法都没有开源,本文还复现了一些经典方法并进行了基准测试,以便在未来的研究中进行公平的比较。 阅读全文
posted @ 2024-08-12 18:01 乌漆WhiteMoon 阅读(138) 评论(0) 推荐(0) 编辑
摘要:针对价格预测问题的特点,本文提出了一种代价敏感的深度森林价格预测方法 CSDF。通过代价敏感方案对远离真实价格类别的错误分类施加更高的成本,期望降低错误分类的成本并将其推向真实价格范围。此外为了进一步提高整体性能,通过修改传统的 K-means 方法,开发了一种改进的 K-means 离散化方法来预先定义价格的类别。基于多个真实数据集的实验结果表明,与传统深度森林和其他基准相比,本文提出的代价敏感深度森林可以显著降低成本,同时保持较好的准确性。 阅读全文
posted @ 2024-07-31 18:09 乌漆WhiteMoon 阅读(25) 评论(0) 推荐(0) 编辑
摘要:本文旨在研究构建多特征的不同方法,并分析它们的有效性、效率和潜在行为,以揭示在高维数据上使用 GP 构建多特征的洞察力。本研究研究了三种多特征构建方法,包括两种使用多树表示的方法,即类独立 MCIFC 和类依赖 CDFC,以及 Neshatian 等提出的一种使用单树表示的方法 1TGPFC 构建类依赖特征。将使用常用的学习算法(包括 KNN、朴素贝叶斯和决策树 DT)对三种方法构建的特征的性能进行比较。结果表明多特征构建的性能明显优于单特征构建,类依赖的构造特征比类独立的构造特征具有更好的性能。 阅读全文
posted @ 2024-06-30 23:49 乌漆WhiteMoon 阅读(45) 评论(0) 推荐(0) 编辑
摘要:针对深度森林中基分类器数量过多带来的时空开销,本文中提出了一种基于三目标优化的深度森林级联集成修剪算法 TOOCEP,该算法在级联森林的每一层学习最优决策树子集,并去除不在最优子集中的决策树。具体而言本文首先提出了一种基于三目标优化的单层剪枝方法 TOOSLP,通过同时优化精度、独立多样性和耦合多样性三个目标对其单层森林进行剪枝。前两个目标是单层森林本身的准确性和多样性,第三个目标用于处理被修剪的层与其前一层之间的耦合关系。在 TOOSLP 方法的基础上,提出了层叠集成剪枝框架对深层森林进行逐层剪枝。通过在 15 个 UCI 数据集上对该算法进行评估,实验结果表明 TOOCEP 在准确率和剪枝率方面优于几种最先进的方法,显著减少了深度森林的存储空间,加快了深度森林的预测速度。 阅读全文
posted @ 2024-05-06 11:00 乌漆WhiteMoon 阅读(52) 评论(0) 推荐(0) 编辑
摘要:为了解决现有分布式深度森林存在的问题,本文提出了一种新的计算效率高、鲁棒性强的分布式深度森林算法 CERT-DF。CERT-DF 基于本文新提出的 SAB 机制构建的,该机制集成了三种方案:块级预采样、两阶段预聚合和系统级备份。块级预采样将数据集划分为多个不相连的数据块,其中利用随机样本分区机制,确保每个块的统计特征和数据分布与原始整个数据集相似,以减少分布式数据集偏差对模型精度的负面影响。两阶段预聚合方案引入缓冲机制,将每个子森林生成的向量临时存储,然后对分布式子森林进行分层向量聚合,以减轻参数服务器的网络带宽占用,加快聚合过程。系统级备份旨在以很小的内存和磁盘开销备份关键特征空间,防止训练任务失败,增强分布式深度森林的鲁棒性。CERT-DF 框架在 Ray 平台上进行实现,并基于七个知名的基准数据集进行了广泛的实验,评估结果表明 CERT-DF 在计算效率、模型精度、系统资源开销和系统鲁棒性方面优于最先进的方法。 阅读全文
posted @ 2024-03-17 16:07 乌漆WhiteMoon 阅读(53) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示