2018年3月22日

决策树如何对连续性特征进行分段?

摘要: 特征离散化处理 问题抽象假设训练样本集合D中有n个样本,考察对连续属性a的最佳分段点/划分点。若属性a在这n个样本中有m个不同的取值(m<=n),对这m个值两两之间取中点,可获得m-1个中点作为候选划分点。 选择过程接下来的选择最佳划分点过程和离散属性的虚选择过程类似,以基尼系数或信息增益作为度量, 阅读全文

posted @ 2018-03-22 22:14 mdumpling 阅读(1874) 评论(0) 推荐(0) 编辑

CNN简略总结

摘要: https://blog.csdn.net/real_myth/article/details/51824193 池化层的作用: 感受野变化。。。?? 1*1卷积核的作用 1. 实现跨通道的交互和信息整合 2. 进行卷积核通道数的降维和升维,减少网络参数 https://www.zhihu.com/ 阅读全文

posted @ 2018-03-22 21:40 mdumpling 阅读(169) 评论(0) 推荐(0) 编辑

集成学习算法总结----Boosting和Bagging

摘要: 1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率,不足之处就是模型的训练过程可能比较复杂,效率不是很高。目前接触较多的集成学习主要有2种:基于Boosting的和基于Bagging,前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 阅读全文

posted @ 2018-03-22 19:30 mdumpling 阅读(280) 评论(0) 推荐(0) 编辑

在神经网络中weight decay

摘要: weight decay(权值衰减)的最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损 阅读全文

posted @ 2018-03-22 19:28 mdumpling 阅读(625) 评论(0) 推荐(0) 编辑

梯度下降法与方向导数

摘要: from https://www.zhihu.com/question/30672734 下面从梯度与方向导数的关系来解释: 1 方向导数 引入 引入 原来我们学到的偏导数指的是多元函数沿坐标轴的变化率,但是我们往往很多时候要考虑多元函数沿任意方向的变化率,那么就引出了方向导数 定义 定义 (1)方 阅读全文

posted @ 2018-03-22 18:27 mdumpling 阅读(1756) 评论(0) 推荐(0) 编辑

导航