机器学习笔记09-----决策树与随机森林1---决策树概述

1.主要内容

 

案例引出：

2.条件熵

 

定义：

条件熵的定义式推导：

 

上图以出去打网球的案例为例，根节点的熵是大于0的，最底层的子节点的熵是等于0的，以信息熵为度量，构造一颗熵值下降最快的树。

3.决策树

(1)决策树的样式

(2)决策树的定义

(3)决策树算法的特点

 

(4)生成决策树的算法

 

(5)互信息

 

(6)信息增益

 

(7)决策树三种算法总结

(8)决策树的评价