随笔分类 -  机器学习算法—从原理到实现

决策树系列(五)——CART
摘要:CART,又名分类回归树,是在ID3的基础上进行优化的决策树,学习CART记住以下几个关键点:(1)CART既能是分类树,又能是分类树;(2)当CART是分类树时,采用GINI值作为节点分裂的依据;当CART是回归树时,采用样本的最小方差作为节点分裂的依据;(3)CART是一棵二叉树。接下来将以一个... 阅读全文

posted @ 2016-01-16 16:05 学会分享~ 阅读(61609) 评论(9) 推荐(5) 编辑

决策树系列(四)——C4.5
摘要:说到分类树,第一个想到的算法肯定是C4.5,作为数据挖掘的十大算法之一,C4.5在ID3的基础上,从分裂的依据、数据的处理以及剪枝三个方面进行了优化,实现更加精准的预测和分类,本文将主要从上述三个方面对C4.5进行阐述,并给出C4.5的源代码。 阅读全文

posted @ 2016-01-12 21:55 学会分享~ 阅读(8597) 评论(1) 推荐(1) 编辑

决策树系列(三)——ID3
摘要:ID3是基本的决策树构建算法,虽然在对数据的处理、预测的精度上比不上C4.5和CART,但仍然是学习决策树的重要算法。本文将以实际的例子讲述ID3的构建过程,并在文末给出ID3的源代码。 阅读全文

posted @ 2016-01-03 14:38 学会分享~ 阅读(30154) 评论(3) 推荐(4) 编辑

决策树系列(二)——剪枝
摘要:什么是剪枝? 剪枝是指将一颗子树的子节点全部删掉,根节点作为叶子节点,以下图为例:为甚么要剪枝? 决策树是充分考虑了所有的数据点而生成的复杂树,有可能出现过拟合的情况,决策树越复杂,过拟合的程度会越高。 考虑极端的情况,如果我们令所有的叶子节点都只含有一个数据点,那么我们能够保证所有的训... 阅读全文

posted @ 2015-12-22 12:56 学会分享~ 阅读(20883) 评论(4) 推荐(0) 编辑

决策树系列(一)——基础知识回顾与总结
摘要:决策树是一种重要的分类和回归方法,具有可读性强、分类速度快等特点。决策树是一种树形结构,通过多个If-then规则实现分类或者回归的目的。本文将介绍决策树的基本原理,并以实际的例子详细讲解决策树基本的构建过程。 阅读全文

posted @ 2015-12-20 21:29 学会分享~ 阅读(108185) 评论(6) 推荐(9) 编辑

导航