05 2023 档案
摘要:本文通过整合基于树的方法和神经网络,提出了一个梯度增强神经决策森林(GrNDF)模型。GrNDF 具有较高的高灵活性和可解释性,灵活性体现在通过将输入映射到嵌入层来灵活地处理不同类型或大小的特征。可解释性体现在可以通过神经决策树传递输入来解释,其中分裂节点显示输入数据到叶节点的概率,叶节点显示预测结果的不同概率分布。并通过概率神经决策树提供输入来解释,其中分裂节点显示传输到叶节点的输入的概率,而叶节点显示用于预测的不同概率分布。GrNDF 进行了调参实验和消融实验,并评估了模型在几个不同特点的数据集上的性能。与一系列 baseline 和现有的研究相比,本文模型具有较好的预测性能。
阅读全文
摘要:本文设计了自适应神经树(ANT)将 NN 和 DT 的优点结合起来,ANT 将树结构中的路由决策和根到叶的计算路径表示为 NN,从而实现了分层表示学习。ANT 以树形拓扑作为一个强结构先验,通过该结构令特征以分层方式共享和分离。同时提出了一种基于反向传播的训练算法,基于一系列决策来生长 ANT 的结构。总而言之,ANT同时具备了表示学习、架构学习、轻量级推理的能力。通过SARCOS、MNIST 和 CIFAR-10 数据集的实验,证明了本文方法具有较好的性能,具有多种良好的特性。
阅读全文
摘要:为了解决样本数量远少于特征数量的“n << p”问题,并设计一个不依赖外部知识的分类模型,本文提出了一个森林图嵌入深度前馈网络(forgeNet)模型。该模型将 GEDFN 架构与森林特征图提取器集成在一起,从而可以以监督的方式学习特征图并为给定的任务构建特征图。为了验证该方法的能力,本文用合成数据集和真实数据集对 forgeNet 模型进行了实验。实验结果表明本文的模型具有较高的精度和鲁棒性,提供的特征重要性排名具有生物学上的意义。
阅读全文