摘要： 一般在machine learning意义上，我们常说的feature，是一种对数据的表达。当然，要衡量一种feature是否是合适的表达，要根据数据，应用，ML的模型，方法....很多方面来看。一般来说，Feature应该是informative（富有信息量），discriminative（有区分 阅读全文

摘要： SWA 的工作原理。它只保存两个模型，而不是许多模型的集成： 第一个模型保存模型权值的平均值（WSWA）。在训练结束后，它将是用于预测的最终模型。 第二个模型（W）将穿过权值空间，基于周期性学习率规划探索权重空间。 SWA权重更新公式 在每个学习率周期的末尾，第二个模型的当前权重将用来更新第一个模型 阅读全文