乌漆 WhiteMoon

摘要： 针对现有无监督异常检测算法中缺乏可学习性、对超参数敏感的不足，本文提出一种新颖的、基于 GNN 的方法 LUNAR，其核心是将经典的无监督局部异常检测（如 KNN、LOF）统一到一个可学习的图消息传递框架下。具体地，LUNAR 为任何特征数据构建 KNN 图，将节点间的距离作为输入，并使用一个可训练的神经网络来聚合一个节点与其所有 k 个邻居的距离信息。该方法相比固定的启发式规则，如取最大值或求平均，能更优地计算异常分数。为了解决无监督训练仅有正常数据的问题，LUNAR 通过均匀采样和子空间扰动混合生成负样本来提供监督信号，使模型能够学习区分正常与异常数据的决策边界。在多个数据集上的实验表明，LUNAR 不仅在检测准确性上超越了现有方法，而且其性能对超参数具有鲁棒性。 阅读全文

摘要： 表格数据无处不在，研究者越来越关注建模数据实例间及其与特征值的关联，这使得 GNN4TDL 兼具高研究价值和实用价值。但是 GNN4TDL 作为一个关键的问题，却经常被以往的综述所忽视的领域。本文提供了 GNN4TDL 当前发展脉络，并进行了全面的文献综述，梳理了相关的基本概念。接着正式概念化了 GNN4TDL 的图表征、图构建、表示学习、训练方案四阶段流程，并据此将现有方法组织成一个统一的结构化分类体系。接着探讨了 GNN 为何适用于表格数据学习，说明 GNN 如何更好地建模表格数据以及 GNN 为表格分类和回归带来性能提升的内在原因。最后进行应用总结与展望，展示了 GNN 在诸多表格数据应用领域（如欺诈检测、精准医疗、点击率预测、缺失值处理）的用途，为当前 GNN4TDL 研究局限性和未来方向进行了讨论。 阅读全文

摘要： 多标签学习中的类别不平衡是一个固有但常被忽视的挑战，针对这个问题，本文提出了一种名为交叉耦合聚合 COCOA 的学习策略。该方法的核心是为每个目标标签构建预测模型时，不再独立学习，而是通过与多个随机选择的其他标签进行交叉耦合来同时解决两个关键问题。具体而言，对于每个目标标签 $y_j$，算法会：1）随机选择 $K$ 个其他标签与之配对；2）为每一对标签 $(y_j, y_k)$ 构建一个三分类数据集；3）在每个三分类数据集上训练一个多类别不平衡分类器；4）将 $K$ 个分类器给出的、关于“$y_j$ 为正”的预测置信度进行简单平均求和，作为 $y_j$ 的最终预测得分；5）通过最大化该标签在训练集上的 F-measure 来确定其最优分类阈值。整个过程通过对多个随机耦合分类器的集成，利用了高阶标签相关性，并通过专门针对不平衡指标的阈值进行校准。大量实验的实验验证了 COCOA 的性能，其效果优于基于相关性或频率的加权方案。 阅读全文

摘要： 本文提出一种表格深度学习架构 NODE，旨在解决深度学习方法在异构表格数据上未能稳定超越 GBDT 的难题。其核心思想是将传统的集成树模型，特别是CatBoost 中使用的遗忘决策树转化为可微分的模块，从而构建可端到端训练的深度 GBDT。该模型利用 α-entmax 变换来软化和稀疏化特征选择与决策路由，并通过类似 DenseNet 的多层连接结构，使得早期层学习基础特征，深层树利用这些特征进行复杂决策。在 6 个公开表格数据集上通过默认参数和调参两种模式，与 GBDT 方法进行对比实验，证明了 NODE 在大多数任务上的性能优势。 阅读全文

摘要： 本文提出了一种基于检索的表格深度学习模型 TabR，其核心在于设计了一个类 KNN 的检索模块，并将其集成到一个简单的前馈神经网络中。在预测时，TabR 会为目标样本从其训练数据中检索出称为上下文对象的最相似的样本。TabR 的关键组件是检索模块中的相似性计算与值聚合机制。TabR 的相似性计算摒弃了标准注意力机制中的查询-键点积，转而采用基于键的 L2 距离来衡量样本间的相似性。在聚合上下文信息时，值聚合机制不仅利用了上下文对象的标签，还通过一个小型网络引入了校正项动态调整标签的贡献。在多个公开基准测试中，TabR 取得了最佳的平均性能，并成为多个数据集上的最优方法。 阅读全文

摘要： 本文将神经网络的优化能力和决策树的结构化、可解释性联系起来，提出了一种名为**局部常数网络 LCN 的神经网络架构，主要利用 ReLU 神经网络分段线性的，其关于输入的梯度是局部常数的性质。具体来说，通过设计一个以 ReLU 网络的梯度为输入的可微分函数，使 LCN 自身实现为一个分段常数函数。在理论上本文证明了 LCN 与斜决策树是等价的。为了能够用梯度下降优化，作者设计了标准架构的 LCN，并引入了激活函数退火和 DropConnect 等技术来稳定训练。在分子性质预测任务上验证了 LCN 是训练斜决策树的先进方法，其集成版本能够与随机森林等经典集成方法竞争，展现了有效性和实用性。 阅读全文

摘要： 本文将参数高效集成范式引入深度表格学习，提出一种简单且性能好的新基线模型 TabM。TabM 的本质是一个能模拟多层感知机（MLP）集成的单一神经网络，它通过 BatchEnsemble 机制实现权重共享，即在共享骨干网络的同时，为每个隐式子模型引入轻量的、独有的适配器参数。TabM 的预测输出是其所有隐式子模型预测的平均值，这些子模型在训练时被并行优化，并根据整体集成性能决定早停时机。实验表明，尽管 TabM 的单个子模型表现弱且易过拟合，但它们的集体预测却能实现强大的泛化能力。同时，TabM 在计算效率和模型性能之间取得了优异平衡，其参数量与单 MLP 相近，推理速度远快于基于注意力或检索的复杂架构。 阅读全文

摘要： 本文提出了一种用于处理表格数据的新型、可解释的神经网络模型 NCART。该模型的核心创新在于将可微分的 ODT 集成到修改后的残差网络架构中，以替代传统的全连接层。每个 ODT 被修改为可微分形式，使其能够通过梯度下降法进行端到端训练。多个可微决策树在每一层并行计算，其输出通过加权求和进行集成，形成 NCART 基本块。最后，多个 NCART 块像残差网络一样堆叠，前一个块的输出作为后一个块的输入。整个网络以学习残差的方式渐进地逼近目标函数，从而既保留了决策树的可解释性，又具备了深度神经网络强大的表征和学习能力。通过在一系列分类和回归数据集上的广泛实验证明，NCART 不仅在性能上优于了多种深度学习基线模型，而且与梯度提升决策树模型性能相当。 阅读全文

摘要： 目录虚拟化技术虚拟化的定义虚拟化的发展虚拟化的优势虚拟化与云计算的关系虚拟化的分类服务器虚拟化网络虚拟化存储虚拟化应用虚拟化开源虚拟化技术XenKVMOpenVZ虚拟化的发展趋势参考资料 虚拟化技术 虚拟化的定义 虚拟化是一种计算资源管理技术，它在虚拟的、抽象的基础上运行计算机元件，而非真实的、独立 阅读全文

摘要： 目录分布式与微服务分布式系统分布式计算微服务云计算的架构云基础设施虚拟网络边界虚拟防火墙虚拟专用网络虚拟服务器云存储设备就绪环境参考资料 分布式与微服务 分布式系统 分布式系统是一个其硬件或软件组件分布在联网的计算机上，组件之间通过传递消息进行通信和动作协调的系统**。资源可用于描述能在连网的计算机 阅读全文