决策树-ID3
id3:无法直接处理数值型数据,可以通过量化方法将数值型数据处理成标称型数据,但涉及太多特征划分,不建议
决策树:的最大优点在于可以给出数据的内在含义,数据形式非常容易理解;
决策树介绍:决策树分类器是带有种植的流程图,终止块表示分类结果
优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不明感,可以处理不相关的数据;可以将此分类器存储于硬盘上,是个持久化的分类器
缺点:可能会发生过度匹配问题
使用数据类型:数值型和标称型
knn:不便于展现数据的内在含义;每用一次都要学习,不是持久化分类器
概念介绍:
信息增益、熵:
信息的定义:
熵的定义:熵是信息增益的期望值之和=获得的最大信息增益,熵是数据的不一致性的表现
*(扩展阅读)基尼不纯度:从数据集中随机选取项,度量其被错误分配到其他组的概率
决策树流程
1、收集数据:可使用任何方法
2、准备数据:构造算法只适用于标称型数据,因此数值型数据需要离散
3、分析数据:可以使用任何方法,构造书完成后,我们应该检查图形是否符合预期
··数据集划分:
度量数据集的无需程度,度量划分数据集的熵,判断当前数据集划分是否正确,想象成二位的空间散点图,应用直线进行划分
划分操作:创建新的list对象,将符合要求的数据,抽取出来
··选择最好的数据集:
*创建唯一的分类标签列表
*计算每种划分方式的信息熵
*计算最好的信息增益
··递归决策树:
*循环调用划分函数
*制定终止点:制定可划分的最大分组数目;自动循环到组数不变状态;如果还出现不停,就采用多数表决的方法确定叶子节点的分类
类别完全相同;变脸完所有特征时返回次数最多的;得到列表包含所有属性
*调用matplob构造图(箭头翻转,数据点数字显示,着色)
定义文本框和箭头格式
回执带箭头的注释
*构造注解树
*测试节点的数据类型字典
*在父子节点间填充文本你信息
*计算宽和高
*标记子节点属性值
*减少y偏移
4、测试算法:使用经验数计算准确率
测试和存储分类器
*测试算法:使用决策树执行分类:将标签字符串转换为索引
*便利地柜整棵树,比较变量中的值与树节点的值,如果达到叶节点,则返回当前分类标签
5、使用算法:决策树存储(此步骤可以适用于任何监督学习算法,而是使用决策树可以更好地理解数据的内在含义)
决策树伪代码:
创建分支的伪代码函数creatbranch()
检测数据集中的每个子项是否属于同一分类
if so return 类标签;
else
寻找划分数据集的最好特征
划分数据集
创建分支节点
for 每个划分的子集
调用函数creatbranch并增加返回结果到分支节点中
return 分支节点
示例:使用决策树预测隐形眼镜类型
1、收集数据:提供的文本文件
2、准备数据:解析tab键分割的数据行
3、分析数据:快速检查数据,确保正确的解析数据内容,使用createplot()函数回执最终的树形图
4 、训练算法:使用createtree函数
5、测试算法:编写测试函数验证决策树可以正确的分类给定的数据实例
6、使用算法:存储数据结构,以便下次无需重构决策树