香农熵学习+例子[转载]
转自:https://www.cnblogs.com/wyuzl/p/7699818.html
1.在决策树算法中,就是根据信息论的方法找到最合适的特征来划分数据集。在这里,我们首先要计算所有类别的所有可能值的香农熵,根据香农熵来我们按照取最大信息增益(information gain)的方法划分我们的数据集。
2.香农熵计算公式
3.使用的数据集
4.测试代码
# 代码功能:计算香农熵 from math import log #我们要用到对数函数,所以我们需要引入math模块中定义好的log函数(对数函数) def createDataSet(): dataSet = [[1,1,'yes'], [1,1,'yes'], [1,0,'no'], [0,1,'no'], [0,1,'no']] # 我们定义了一个list来表示我们的数据集,这里的数据对应的是上表中的数据 labels = ['no surfacing','flippers'] return dataSet, labels def calcShannonEnt(dataSet):#传入数据集 # 在这里dataSet是一个链表形式的的数据集 countDataSet = len(dataSet) # 我们计算出这个数据集中的数据个数,在这里我们的值是5个数据集 labelCounts={} # 构建字典,用键值对的关系我们表示出 我们数据集中的类别还有对应的关系 for featVec in dataSet: #通过for循环,我们每次取出一个数据集,如featVec=[1,1,'yes'] currentLabel=featVec[-1] # 取出最后一列 也就是类别的那一类,比如说‘yes’或者是‘no’ if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1#统计这个类别出现了多少次。 print(labelCounts) # 最后得到的结果是 {'yes': 2, 'no': 3} shannonEnt = 0.0 # 计算香农熵, 根据公式 for key in labelCounts: prob = float(labelCounts[key])/countDataSet shannonEnt -= prob * log(prob,2) return shannonEnt data,labels=createDataSet(); se=calcShannonEnt(data); print(se); print(labels);
运行结果:
{'yes': 2, 'no': 3} 0.9709505944546686 ['no surfacing', 'flippers']
5.将dataset改变
dataSet = [[1,1,'yes'], [1,1,'yes'], [1,0,'no'], [0,1,'no'], [0,1,'no'], [0,1,'maybe']] # 我们定义了一个list来表示我们的数据集,这里的数据对应的是上表中的数据
多加入了最后一种,运行结果:
{'yes': 2, 'no': 3, 'maybe': 1} 1.4591479170272448 ['no surfacing', 'flippers']
很明显,香农熵是增加的,因为它的含义就是所包含的信息量。
//学习了!