随笔分类 - 本科
决策树学习笔记
摘要：参考资料： 《机器学习》周志华 《统计学习方法》李航 1. 决策树生成算法 决策树的算法如图所示： 第2行和第4行是对新生成节点进行类别标记。第9行开始是循环分裂node节点，为最优特征的每一个值生成叶子节点。 第8行是重点，它决定了决策树的生长方式：当我有不止一个特征时，我该如何选择一个”最优“特
论文阅读《Pruning Attention Heads of Transformer Models Using A* Search》
摘要：1. 现有算法的局限性 局部剪枝 遍历所有head，找出“剪掉这个head后精确度下降最小”的head，进行剪枝。虽然是精确度最高的剪枝算法，但剪枝过程开销太大。 全局剪枝 每次剪枝时，从每一层的某一个位置剪掉一个head。开销很小，但精确度不高。 2. A*算法概述 算法描述 是最小路径算法的一种
数据处理：当数据集以txt格式出现时
摘要：今天在对一个比赛数据集进行数据处理时发现，官方提供的数据集是txt文档形式，而我之前学习的教程所提供的案例中，均可以用json直接读取并划分数据集。这里记录下数据处理过程、遇到的困难和解决方法。 在该数据集中，数据的分布较工整，有规律可循。一条数据的格式如下： id即数据序号 RNA碱基序列 Lin
