乌漆 WhiteMoon

摘要： 多标签学习中的类别不平衡是一个固有但常被忽视的挑战，针对这个问题，本文提出了一种名为交叉耦合聚合 COCOA 的学习策略。该方法的核心是为每个目标标签构建预测模型时，不再独立学习，而是通过与多个随机选择的其他标签进行交叉耦合来同时解决两个关键问题。具体而言，对于每个目标标签 $y_j$，算法会：1）随机选择 $K$ 个其他标签与之配对；2）为每一对标签 $(y_j, y_k)$ 构建一个三分类数据集；3）在每个三分类数据集上训练一个多类别不平衡分类器；4）将 $K$ 个分类器给出的、关于“$y_j$ 为正”的预测置信度进行简单平均求和，作为 $y_j$ 的最终预测得分；5）通过最大化该标签在训练集上的 F-measure 来确定其最优分类阈值。整个过程通过对多个随机耦合分类器的集成，利用了高阶标签相关性，并通过专门针对不平衡指标的阈值进行校准。大量实验的实验验证了 COCOA 的性能，其效果优于基于相关性或频率的加权方案。 阅读全文

摘要： 本文提出一种表格深度学习架构 NODE，旨在解决深度学习方法在异构表格数据上未能稳定超越 GBDT 的难题。其核心思想是将传统的集成树模型，特别是CatBoost 中使用的遗忘决策树转化为可微分的模块，从而构建可端到端训练的深度 GBDT。该模型利用 α-entmax 变换来软化和稀疏化特征选择与决策路由，并通过类似 DenseNet 的多层连接结构，使得早期层学习基础特征，深层树利用这些特征进行复杂决策。在 6 个公开表格数据集上通过默认参数和调参两种模式，与 GBDT 方法进行对比实验，证明了 NODE 在大多数任务上的性能优势。 阅读全文

摘要： 本文提出了一种基于检索的表格深度学习模型 TabR，其核心在于设计了一个类 KNN 的检索模块，并将其集成到一个简单的前馈神经网络中。在预测时，TabR 会为目标样本从其训练数据中检索出称为上下文对象的最相似的样本。TabR 的关键组件是检索模块中的相似性计算与值聚合机制。TabR 的相似性计算摒弃了标准注意力机制中的查询-键点积，转而采用基于键的 L2 距离来衡量样本间的相似性。在聚合上下文信息时，值聚合机制不仅利用了上下文对象的标签，还通过一个小型网络引入了校正项动态调整标签的贡献。在多个公开基准测试中，TabR 取得了最佳的平均性能，并成为多个数据集上的最优方法。 阅读全文

摘要： 本文将神经网络的优化能力和决策树的结构化、可解释性联系起来，提出了一种名为**局部常数网络 LCN 的神经网络架构，主要利用 ReLU 神经网络分段线性的，其关于输入的梯度是局部常数的性质。具体来说，通过设计一个以 ReLU 网络的梯度为输入的可微分函数，使 LCN 自身实现为一个分段常数函数。在理论上本文证明了 LCN 与斜决策树是等价的。为了能够用梯度下降优化，作者设计了标准架构的 LCN，并引入了激活函数退火和 DropConnect 等技术来稳定训练。在分子性质预测任务上验证了 LCN 是训练斜决策树的先进方法，其集成版本能够与随机森林等经典集成方法竞争，展现了有效性和实用性。 阅读全文

摘要： 本文将参数高效集成范式引入深度表格学习，提出一种简单且性能好的新基线模型 TabM。TabM 的本质是一个能模拟多层感知机（MLP）集成的单一神经网络，它通过 BatchEnsemble 机制实现权重共享，即在共享骨干网络的同时，为每个隐式子模型引入轻量的、独有的适配器参数。TabM 的预测输出是其所有隐式子模型预测的平均值，这些子模型在训练时被并行优化，并根据整体集成性能决定早停时机。实验表明，尽管 TabM 的单个子模型表现弱且易过拟合，但它们的集体预测却能实现强大的泛化能力。同时，TabM 在计算效率和模型性能之间取得了优异平衡，其参数量与单 MLP 相近，推理速度远快于基于注意力或检索的复杂架构。 阅读全文

摘要： 本文提出了一种用于处理表格数据的新型、可解释的神经网络模型 NCART。该模型的核心创新在于将可微分的 ODT 集成到修改后的残差网络架构中，以替代传统的全连接层。每个 ODT 被修改为可微分形式，使其能够通过梯度下降法进行端到端训练。多个可微决策树在每一层并行计算，其输出通过加权求和进行集成，形成 NCART 基本块。最后，多个 NCART 块像残差网络一样堆叠，前一个块的输出作为后一个块的输入。整个网络以学习残差的方式渐进地逼近目标函数，从而既保留了决策树的可解释性，又具备了深度神经网络强大的表征和学习能力。通过在一系列分类和回归数据集上的广泛实验证明，NCART 不仅在性能上优于了多种深度学习基线模型，而且与梯度提升决策树模型性能相当。 阅读全文

摘要： 目录虚拟化技术虚拟化的定义虚拟化的发展虚拟化的优势虚拟化与云计算的关系虚拟化的分类服务器虚拟化网络虚拟化存储虚拟化应用虚拟化开源虚拟化技术XenKVMOpenVZ虚拟化的发展趋势参考资料 虚拟化技术 虚拟化的定义 虚拟化是一种计算资源管理技术，它在虚拟的、抽象的基础上运行计算机元件，而非真实的、独立 阅读全文

摘要： 目录分布式与微服务分布式系统分布式计算微服务云计算的架构云基础设施虚拟网络边界虚拟防火墙虚拟专用网络虚拟服务器云存储设备就绪环境参考资料 分布式与微服务 分布式系统 分布式系统是一个其硬件或软件组件分布在联网的计算机上，组件之间通过传递消息进行通信和动作协调的系统**。资源可用于描述能在连网的计算机 阅读全文

摘要： 目录云管理机制远程管理系统资源池化管理服务等级协议管理系统资源备份云监控自动化运维服务目录管理租户及用户管理容量规划及管理其他云管理机制特殊云机制自动伸缩监听器负载均衡器故障转移系统其他特殊云机制参考资料 云管理机制 云管理机制的产生主要源于私有云和混合云的复杂管理需求，企业内部 IT 环境异构（多 阅读全文

摘要： 目录什么是云计算云计算的关键技术分布式数据存储虚拟化技术云管理平台并行编程数据管理技术云交付模型云部署模式典型的云应用云计算的优势参考资料 什么是云计算 云计算（Cloud Computing）是一种基于互联网的服务交付模式，它通过网络提供动态、易扩展且常为虚拟化的资源，“云”是对网络和互联网的抽象 阅读全文