摘要：
CART算法 原理 CART全称为Classification and Regression Tree。 回归树 相比ID3，CART遍历所有的特征和特征值，然后使用二元切分法划分数据子集，也就是每个节点都只会分裂2个分支。接着计算数据子集的总方差来度量数据子集的混乱程度，总方差越小数据子集越纯，最 阅读全文
摘要：
决策树是一个树形结构，类似下面这样： 上图除了根节点外，有三个叶子节点和一个非叶子节点。 在解决分类问题的决策树中，叶子节点就表示所有的分类，比如这里的分类就有3种：无聊时阅读的邮件、需及时处理的邮件、无需阅读的邮件。 使用决策树来分类某个样本数据，就是利用根节点选取的特征，将当前输入样本划分到根节 阅读全文
摘要：
信息熵为什么要定义成-Σp*log(p)？ 在解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon )对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一个黑箱里有2个苹果， 阅读全文