决策树算法和它的实现方式
第三章 决策树
3.1 算法简介
决策树就像一个数据流程图，区别在于决策树可以在不熟悉的数据集中，提取规则，进而构造出一棵决策树
优点：计算复杂度不高，输出的结果易于理解， 对中间缺省值不敏感，可以处理不想关的特征
缺点：容易发生过度匹配
适用的数据类型：数值型和标称型
3.2 算法的一般流程
1.收集数据
2.处理数据：构造树需要使用标称数据，因此如果是数值型数据的话必须进行离散化
3.分析数据
4.训练算法：利用训练数据构造出一棵决策树
5.测试算法
6.使用算法
3.3相关的概念
决策树算法的关键在于怎么选择分类的特征，这里使用的是id3算法。所谓的id3算法指的是选择信息增益最大的特征作为划分的特征。
1.什么是信息增益
信息增益是香农提出来的，指的是划分数据之前与之后信息发生的变化。
2.怎么计算信息的值
l(xi) = - logp(xi)
P(xi) = xi / x (就是数据集中某一个类的数量除以总的数量)
3.什么计算熵的值
H = p(xi)l(xi) (这里的i的范围是指所有的分类)
3.4算法的实现过程
1.获取香农熵
rom math import log import operator import pickle # calculate the entropy def calcshannonent(dataset): datasetnum = len(dataset) datalable = {} for eachdata in dataset: fetchlable = eachdata[-1] if fetchlable not in datalable.keys(): datalable[fetchlable] = 0 datalable[fetchlable] += 1 entroy = 0.0 for eachlable in datalable: prob = float(datalable[eachlable])/datasetnum entroy -= prob*log(prob, 2) return entroy
2.划分数据集
split the data set def splitdataset(dataset, axis, value): retdataset = [] for each in dataset: if each[axis] == value: splitdata = each[:axis] splitdata.extend(each[axis+1:]) retdataset.append(splitdata) return retdataset
3.选择最好的划分特征
choose the best feature def choosebestfeature(dataset): baseentroy = calcshannonent(dataset) featurenum = len(dataset[0]) - 1 bestinformationgain = 0.0 choosen = -1 for i in range(featurenum): featurelisit = [example[i] for example in dataset] listcount = set(featurelisit) tempentroy = 0.0 for j in listcount: subdataset = splitdataset(dataset, i, j) subentropy = calcshannonent(subdataset) prob = len(subdataset)/float(len(dataset)) tempentroy = prob*subentropy informationgain = baseentroy - tempentroy if informationgain > bestinformationgain: bestinformationgain = baseentroy - tempentroy choosen = i return choosen
4.投票判断所属额类别
vote the class def votedclass(classlist): classcount = {} for vote in classlist: if vote not in classcount.keys(): classcount[vote] = 0 classcount[vote] += 1 classcountsorted = sorted(classcount.iteritems(), key=operator.itemgetter(1), reverse=True) return classcountsorted[0][0]
5.构建一棵决策树
# create my tree def createtree(dataset, lables): lablename = lables[:] classlist = [example[-1] for example in dataset] if classlist.count(classlist[0]) == len(classlist): return classlist[0] if len(dataset[0]) == 1: return votedclass(classlist) bestfeature = choosebestfeature(dataset) featurelable = lablename[bestfeature] del(lablename[bestfeature]) mytree = {featurelable: {}} featurelist = [example[bestfeature] for example in dataset] featurelistcount = set(featurelist) for value in featurelistcount: sublables = lablename[:] subdataset = splitdataset(dataset, bestfeature, value) mytree[featurelable][value] = createtree(subdataset, sublables) return mytree
6.输入决策向量的类别
# classify the vector def classify(inputtree, lables, tecvector): firlb = str(inputtree.keys()[0]) subdict = inputtree[firlb] firindex = lables.index(firlb) classlable = 'something error' for key in subdict.keys(): if tecvector[firindex] == key: if type(subdict[key]).__name__ == 'dict': classlable = classify(subdict[key], lables, tecvector) else: classlable = subdict[key] return classlable
7.存储和取出决策树
# store the tree def storetree(mytree, filename): fp = open(filename, 'w') pickle.dump(mytree, fp) fp.close() # get the tree def gettree(filename): fp = open(filename) return pickle.load(fp)
3.5 实战，构建一棵判断佩戴什么隐形眼镜的决策树
import tree fr = open("F:data/machinelearninginaction/Ch03/lenses.txt") lines = fr.readlines() line = [example.strip().split("\t")for example in lines] datalable = ['age', 'prescript', 'astigmatic', 'tearrate'] mytree = tree.createtree(line, datalable) print mytree
3.6思考
1.以上所创造的决策树的数据格式是，每一行的前面n-1个元素是特征值，最后一个元素是类名称
2.决策树的缺点是过度匹配。这里使用的id3算法，虽然很简单，但是还有很多的缺点。可以使用cart和c4.5算法，进行优化，适当的剪枝合并。
3.决策树分类器就像有终止块的流程图，它的终止块就表示它的分类的结果。
4.此代码来源于机器学习实战这本书。书上在创建树的时候有误，应该先把lables的值传入到一个新的变量中保存起来，然后再用这个新的变量执行。否则它会改变lables的值。
