分类器提升精确度主要就是通过组合,综合多个分类器结果,对最终结果进行分类。
组合方法主要有三种:装袋(bagging),提升(boosting)和随即森林。
装袋和提升方法的步骤:
1,基于学习数据集产生若干训练集
2,使用训练集产生若干分类器
3,每个分类器进行预测,通过简单选举(装袋)或复杂选举(提升),判定最终结果。
如上图所示,对数据集D,取得D1~Dk个子集,然后用M1~Mk个不同分类器进行分类训练,然后用测试集(新元组)得到预测结果,
最后对这k个结果使用少数服从多数原则判定。如用99种分类方法得到55个结果是1,44个结果是0,则判定最终结果为1。
在提升(boosting)算法中,可以看成是装袋的改进,即可以理解为加权投票。这里具体介绍adaptive boosting算法
该算法基本和袋装一致,就是新引入一个权重的概念,首先,在(1)初始化中,权重1/d,即每个元组(Di)权重一致,在地(9)~(11)步中,
对权重进行不断刷新,这里我们可以发现,被正确分类的元组的权重是一直乘以一个小于1的数,即被正确分类的元组,在被选为训练集Di的可能性降低,
分类器会关注“难以分类”的数据。我们是基于一个“某种分类器可能对某种特定的数据分类效果好”的信念上。
补充:元组概念:元组就是最小数据单位,比如人是一个元组,有身高,体重等属性。
在对数据进行训练后,就是用组合分类器。
这里我们看到,有出现一个权重,分类器的投票的权重,这个权重是依照分类器的准确率(错误率越低,权重越高)。
接下来是介绍决策树的提升算法:随机森林。
随机森林实际非常直观,就是用上文提到的随机装袋方法,对每个Di构建决策数,这里用CART算法建树(只需要计算Gini指数),不剪枝。
然后对让森林里所有的树进行投票即可。
附上R语言的随机森林事例:
1 2 3 4 | //如果没有安装randomForest包,要先install.packages("randomForest")<br>library(randomForest) model.forest = randomForest(Species~.,data=iris) pre.forest=predict(model.forest,iris) table(pre.forest,iris$Species) |
正确率高达100%
而用单一的决策树
library(rpart) model.tree=rpart(Species~.,data=iris,method = "class") pre.tree=predict(model.tree,data=iris,type="class") table(pre.tree,iris$Species)
发现有一部分数据会被判错。
ps:组合分类器的算法摘自韩佳炜《数据挖掘概念与技术》。
昵称:
不改了 注销 订阅评论
[使用Ctrl+Enter键快速提交]
【推荐】如何让你的程序拥有象Excel一样强大的数据编辑功能
· 入不敷出 完美世界游戏体验中心全部关闭
· 国产机血拼价格战 一个月线上普降200到300元
· 做多中国,从创业始
· 图片造假克星:误检率只有0.01%的Verifeyed
· 你知道为什么如今的科技初创公司都不愿意上市吗?
» 更多新闻...
· 也谈怎么学好英语这件小事
· 前后端分离了,然后呢?
· 撰写合格的REST API
· 深入NGINX:我们如何设计它的性能和扩展性