摘要： 1. 实现决策树的前提：信息增益 信息增益： ​ 数据集合在被处理的之前之后，其信息发生的变化称为信息增益。 香农熵或熵： ​ 集合信息的度量方式称为香农熵或者简称为熵。 熵被定义为信息的期望值： 信息的定义 如果存在有多个分类（分类1、分类2...）的条件下，待分类的事务可能被划分为其中某个分类， 阅读全文